ClickHouse¶

Bu makalede

• ClickHouse. Temel Özellikler
• Çalıştırma Özellikleri
• ClickHouse'un Dağıtılmasından Sonra Başlangıç
• ClickHouse'a Bağlanma
• ClickHouse'da Temel İşlemler
• ClickHouse ile bir sunucu sipariş etme

ClickHouse. Temel Özellikler¶

• Sütun tabanlı depolama: veriler satırlar yerine sütunlar halinde depolanır, bu da analitik sorgu yürütmesini önemli ölçüde hızlandırır ve işlenen veri hacmini azaltır.
• Yüksek performans: devasa veri setlerini işlemek için optimize edilmiştir ve vektörleştirilmiş işleme ile verimli CPU kullanımı sayesinde milyarlarca satır üzerinde sorgu yürütebilir.
• Veri sıkıştırması: depolanan veri miktarını dramatik şekilde azaltabilen (genellikle satır tabanlı DBMS'lere göre birkaç kat daha küçük) özel sıkıştırma algoritmaları kullanır, özellikle analitik iş yükleri altında.
• SQL uyumluluğu: ek analitik fonksiyonlarla genişletilmiş SQL sözdizimini destekler, mevcut uygulamaların taşınmasını kolaylaştırır.
• Dağıtık işleme: yatay ölçeklendirme ve birden fazla sunucu arasında veri işleme için küme oluşturmaya olanak tanır.
• Veri replikasyonu: yerleşik replikasyon desteği hata toleransını ve yüksek veri kullanılabilirliğini sağlar.
• Birden fazla veri formatı desteği: verileri CSV, JSON, Parquet, Avro ve diğer formatlarda içe ve dışa aktarabilir.
• Materyalize görünümler: tekrarlayan sorguları hızlandırmak için verileri arka planda otomatik olarak özetler.
• Harici kaynaklarla entegrasyon: MySQL, PostgreSQL, MongoDB, Kafka, S3 ve diğer sistemlerden veri okumayı doğrudan destekler.

Çalıştırma Özellikleri¶

• Yüklenen yazılımlar:

  • ClickHouse Server >= 26.1.1
  • ClickHouse Client >= 26.1.1

• Kurulum özellikleri:

  • Yazılım resmi geliştirici betiği aracılığıyla yüklenir;
  • Kurulum süresi: 5-10 dakika;
  • Veritabanı çeşitli SQL istemcileri üzerinden ağ bağlantıları için kullanılabilir;
  • Varsayılan olarak root hesabının şifresinden alınan şifreye sahip default kullanıcısı kullanılır.

Yapılandırma ve veri dosyası konumları:

• Ana sunucu yapılandırması: /etc/clickhouse-server/config.xml
• Kullanıcı ayarları: /etc/clickhouse-server/users.xml
• Sunucu günlükleri:
  • /var/log/clickhouse-server/clickhouse-server.log
  • /var/log/clickhouse-server/clickhouse-server.err.log
• Veriler: /var/lib/clickhouse/
• PID dosyası: /run/clickhouse-server/clickhouse-server.pid
• Sistem sınırları: /etc/security/limits.d/clickhouse.conf

Bağlantılar için kullanılabilir portlar:

ClickHouse'un Dağıtılmasından Sonra Başlangıç¶

Sipariş için ödeme yapıldıktan sonra sunucunun çalışmaya hazır olduğuna dair, kayıt sırasında belirtilen e-posta adresine bir bildirim gönderilecektir. Bu bildirimde VPS'nin IP adresi ile bağlantı için kullanıcı adı ve şifre yer alacaktır. Şirketimizin müşterileri donanımı sunucu ve API kontrol paneli üzerinden yönetir - Invapi.

Yetkilendirme ayrıntıları:

• Sunucu IP adresi: e-postada ve kontrol panelinde sağlanır;
• Kullanıcı adı: default;
• Şifre: root hesabının şifresiyle eşleşir ve e-posta adresine gönderilir.

ClickHouse'a Bağlanma¶

clickhouse-client ile Bağlanma¶

ClickHouse, veritabanı işlemleri için yerel bir komut satırı istemcisi içerir.

1. Sunucudan bağlanma (yerel):

clickhouse-client

2. Uzaktaki bir makineden bağlanma:

clickhouse-client --host <IP-adresi> --port 9000 --user default --password <şifre>

3. Basit bir sorgu yürütme:

SELECT version();

4. Veritabanı listesini görüntüleme:

SHOW DATABASES;

DBeaver ile Bağlanma¶

DBeaver, ClickHouse dahil olmak üzere çeşitli veritabanlarıyla çalışmak için evrensel bir GUI istemcisidir.

1. DBeaver'ı Yükleme

DBeaver'ı resmi web sitesinden indirin ve yükleyin.

2. Yeni bir bağlantı oluşturma

• DBeaver'ı başlatın
• Database >> New Database Connection'ı seçin (veya Ctrl+Shift+N tuşlarına basın)

• Veritabanı listesinde ClickHouse'u bulun ve seçin

• Next düğmesine tıklayın

3. Bağlantı parametrelerini yapılandırma

Ayarlar penceresinde aşağıdaki parametreleri belirtin:

Host: <sunucunuzun IP adresi>
Port: 8123
Database/Schema: (boş bırakın veya default belirtin)
Username: default
Password: <root_şifresi>

4. JDBC sürücüsünü indirme

İlk kez bağlanırken DBeaver, ClickHouse için JDBC sürücüsünü indirmenizi isteyecektir:

• Açılır pencerede Download düğmesine tıklayın:

• Sürücünün indirmesinin tamamlanmasını bekleyin:

• OK düğmesine tıklayın

5. Bağlantıyı test etme

• Test Connection düğmesine tıklayın;
• Her şey doğru yapılandırıldıysa, aşağıdaki mesaj görünecektir: Connected (XXX ms):

• Mesaj şunları içerecektir:
• Server: ClickHouse X.X.X.XXX
• Driver: ClickHouse JDBC Driver X.X.X

6. Kurulumu tamamlama

• Finish düğmesine tıklayın;
• Bağlantı Database Navigator'da görünecektir;
• Veritabanlarını, tabloları ve diğer nesneleri görüntülemek için bağlantı ağacını genişletin.

Yaygın sorunlar:

ClickHouse'da Temel İşlemler¶

Veritabanı oluşturma¶

CREATE DATABASE IF NOT EXISTS my_database;

Tablo oluşturma¶

CREATE TABLE my_database.events
(
    event_date Date,
    event_time DateTime,
    user_id UInt32,
    event_type String,
    value Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

Veri ekleme¶

INSERT INTO my_database.events VALUES
    ('2024-12-25', '2024-12-25 10:00:00', 1, 'click', 1.5),
    ('2024-12-25', '2024-12-25 10:05:00', 2, 'view', 2.3),
    ('2024-12-25', '2024-12-25 10:10:00', 1, 'purchase', 99.99);

Veri seçme¶

Basit sorgu:

SELECT * FROM my_database.events LIMIT 10;

Veri özetleme:

SELECT 
    event_type,
    count() as events_count,
    avg(value) as avg_value
FROM my_database.events
WHERE event_date = '2024-12-25'
GROUP BY event_type;

Zaman serisi:

SELECT 
    toStartOfHour(event_time) as hour,
    count() as events_per_hour
FROM my_database.events
WHERE event_date >= '2024-12-01'
GROUP BY hour
ORDER BY hour;

CSV'den veri içe aktarma¶

Tablo oluşturma:

CREATE TABLE my_database.logs
(
    timestamp DateTime,
    level String,
    message String
)
ENGINE = MergeTree()
ORDER BY timestamp;

Veri içe aktarma:

INSERT INTO my_database.logs
FROM INFILE '/path/to/file.csv'
FORMAT CSV;

Kullanıcıları ve ayrıcalıkları yönetme¶

Kullanıcı oluşturma:

CREATE USER analyst IDENTIFIED BY 'secure_password';

İzin verme:

GRANT SELECT ON my_database.* TO analyst;

Kullanıcıları görüntüleme:

SHOW USERS;

Ayrıcalıkları görüntüleme:

SHOW GRANTS FOR analyst;

Hizmeti yönetme¶

Hizmeti başlatma:

clickhouse start

Hizmeti durdurma:

clickhouse stop

Hizmeti yeniden başlatma:

clickhouse restart

Hizmet durumu:

clickhouse status

Günlükleri görüntüleme:

tail -f /var/log/clickhouse-server/clickhouse-server.log

Aktif portları kontrol etme¶

ClickHouse'un hangi portları dinlediğini görmek için:

ss -tlnp | grep clickhouse

Veya daha detaylı:

ss -tlnp | grep $(pidof clickhouse-server)

Yapılandırmada yapılandırılmış portları kontrol etmek için:

cat /etc/clickhouse-server/config.xml | grep -E "port>" | head -20

Belirli bir portu kontrol etmek için:

ss -tlnp | grep :8123

Beklenen port kontrolü çıktısı:

LISTEN  *:8123  clickhouse-serv  (HTTP)
LISTEN  *:9000  clickhouse-serv  (Native TCP)
LISTEN  *:9004  clickhouse-serv  (MySQL)
LISTEN  *:9005  clickhouse-serv  (PostgreSQL)
LISTEN  *:9009  clickhouse-serv  (Interserver)

ClickHouse ile bir sunucu sipariş etme¶