ClickHouse¶

In dit artikel

• ClickHouse. Kernfuncties
• Implementatiefuncties
• Aan de slag na het implementeren van ClickHouse
• Verbinding maken met ClickHouse
• Kernbewerkingen in ClickHouse
• Een server met ClickHouse bestellen

ClickHouse. Kernfuncties¶

• Kolomopslag: gegevens worden opgeslagen per kolom in plaats van per rij, wat de uitvoering van analytische queries aanzienlijk versnelt en het volume van verwerkte gegevens vermindert.
• Hoge prestaties: geoptimaliseerd voor het verwerken van enorme datasets en in staat om queries uit te voeren op miljarden rijen dankzij vectorbewerking en efficiënt CPU-gebruik.
• Gegevenscompressie: maakt gebruik van gespecialiseerde compressiealgoritmen die de hoeveelheid opgeslagen gegevens drastisch kunnen verminderen (vaak veel kleiner dan rijgebaseerde DBMS), vooral bij analytische werklasten.
• SQL-compatibiliteit: ondersteunt uitgebreide SQL-syntaxis met aanvullende analytische functies, wat de migratie van bestaande toepassingen vereenvoudigt.
• Gedistribueerde verwerking: maakt het mogelijk clusters te maken voor horizontale schaalbaarheid en gegevensverwerking over meerdere servers.
• Gegevensreplicatie: ingebouwde ondersteuning voor replicatie zorgt voor fouttolerantie en hoge beschikbaarheid van gegevens.
• Ondersteuning voor meerdere gegevensformaten: kan gegevens importeren en exporteren in CSV, JSON, Parquet, Avro en andere formaten.
• Gematerialiseerde weergaven: voert automatisch aggregaties van gegevens uit op de achtergrond om terugkerende queries te versnellen.
• Integratie met externe bronnen: ondersteunt direct lezen van gegevens uit MySQL, PostgreSQL, MongoDB, Kafka, S3 en andere systemen.

Implementatiefuncties¶

• Geïnstalleerde software:

  • ClickHouse Server >= 26.1.1
  • ClickHouse Client >= 26.1.1

• Installatiespecifieke kenmerken:

  • Software geïnstalleerd via het officiële ontwikkelaarsscript;
  • Installatietijd: 5-10 minuten;
  • Database is beschikbaar voor netwerkverbindingen via diverse SQL-clients;
  • Standaard wordt de gebruiker default gebruikt met het wachtwoord van het root-account.

Locaties van configuratie- en gegevensbestanden:

• Hoofdserverconfiguratie: /etc/clickhouse-server/config.xml
• Gebruikersinstellingen: /etc/clickhouse-server/users.xml
• Serverlogs:
  • /var/log/clickhouse-server/clickhouse-server.log
  • /var/log/clickhouse-server/clickhouse-server.err.log
• Gegevens: /var/lib/clickhouse/
• PID-bestand: /run/clickhouse-server/clickhouse-server.pid
• Systeemlimieten: /etc/security/limits.d/clickhouse.conf

Beschikbare poorten voor verbindingen:

Aan de slag na het implementeren van ClickHouse¶

Er wordt een melding verzonden naar het e-mailadres dat tijdens de registratie is opgegeven dat de server klaar is voor gebruik nadat de bestelling is betaald. Deze bevat het IP-adres van de VPS, evenals de inloggegevens en het wachtwoord voor de verbinding. Klanten van ons bedrijf beheren de hardware in de server- en API-beheerpanelen - Invapi.

Inloggegevens:

• Server-IP-adres: verstrekt in de e-mail en in het beheerpaneel;
• Gebruikersnaam: default;
• Wachtwoord: komt overeen met het wachtwoord van het root-account en wordt naar het e-mailadres verzonden.

Verbinding maken met ClickHouse¶

Verbinding maken via clickhouse-client¶

ClickHouse bevat een native commandoregelclient voor databasebewerkingen.

1. Verbinding maken vanaf de server (lokaal):

clickhouse-client

2. Verbinding maken vanaf een externe machine:

clickhouse-client --host <IP-adres> --port 9000 --user default --password <wachtwoord>

3. Een eenvoudige query uitvoeren:

SELECT version();

4. De lijst met databases bekijken:

SHOW DATABASES;

Verbinding maken via DBeaver¶

DBeaver is een universele GUI-client voor het werken met diverse databases, waaronder ClickHouse.

1. DBeaver installeren

Download en installeer DBeaver vanaf de officiële website.

2. Een nieuwe verbinding maken

• Start DBeaver
• Selecteer Database >> New Database Connection (of druk op Ctrl+Shift+N)

• Zoek en selecteer ClickHouse in de lijst met databases

• Klik op Next

3. Verbindingsparameters configureren

Geef in het instellingenvenster de volgende parameters op:

Host: <IP-adres van uw server>
Port: 8123
Database/Schema: (laat leeg of geef default op)
Username: default
Password: <root_wachtwoord>

4. De JDBC-driver downloaden

Bij de eerste verbindingspoging vraagt DBeaver u om de JDBC-driver voor ClickHouse te downloaden:

• Klik op Download in het pop-upvenster:

• Wacht tot het downloaden van de driver is voltooid:

• Klik op OK

5. De verbinding testen

• Klik op Test Connection;
• Als alles correct is geconfigureerd, verschijnt er een bericht: Connected (XXX ms):

• Het bericht bevat:
• Server: ClickHouse X.X.X.XXX
• Driver: ClickHouse JDBC Driver X.X.X

6. Configuratie afronden

• Klik op Finish;
• De verbinding verschijnt in de Database Navigator;
• Vouw de verbindingstructuur uit om databases, tabellen en andere objecten te bekijken.

Veelvoorkomende problemen:

Kernbewerkingen in ClickHouse¶

Een database maken¶

CREATE DATABASE IF NOT EXISTS my_database;

Een tabel maken¶

CREATE TABLE my_database.events
(
    event_date Date,
    event_time DateTime,
    user_id UInt32,
    event_type String,
    value Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

Gegevens invoegen¶

INSERT INTO my_database.events VALUES
    ('2024-12-25', '2024-12-25 10:00:00', 1, 'click', 1.5),
    ('2024-12-25', '2024-12-25 10:05:00', 2, 'view', 2.3),
    ('2024-12-25', '2024-12-25 10:10:00', 1, 'purchase', 99.99);

Gegevens selecteren¶

Eenvoudige query:

SELECT * FROM my_database.events LIMIT 10;

Gegevens aggregeren:

SELECT 
    event_type,
    count() as events_count,
    avg(value) as avg_value
FROM my_database.events
WHERE event_date = '2024-12-25'
GROUP BY event_type;

Tijdsreeksen:

SELECT 
    toStartOfHour(event_time) as hour,
    count() as events_per_hour
FROM my_database.events
WHERE event_date >= '2024-12-01'
GROUP BY hour
ORDER BY hour;

Gegevens importeren uit CSV¶

Een tabel maken:

CREATE TABLE my_database.logs
(
    timestamp DateTime,
    level String,
    message String
)
ENGINE = MergeTree()
ORDER BY timestamp;

Gegevens importeren:

INSERT INTO my_database.logs
FROM INFILE '/path/to/file.csv'
FORMAT CSV;

Gebruikers en machtigingen beheren¶

Een gebruiker maken:

CREATE USER analyst IDENTIFIED BY 'secure_password';

Machtigingen toekennen:

GRANT SELECT ON my_database.* TO analyst;

Gebruikers bekijken:

SHOW USERS;

Machtigingen bekijken:

SHOW GRANTS FOR analyst;

De service beheren¶

Service starten:

clickhouse start

Service stoppen:

clickhouse stop

Service herstarten:

clickhouse restart

Servicestatus:

clickhouse status

Logs bekijken:

tail -f /var/log/clickhouse-server/clickhouse-server.log

Actieve poorten controleren¶

Om te zien op welke poorten ClickHouse luistert:

ss -tlnp | grep clickhouse

Of gedetailleerder:

ss -tlnp | grep $(pidof clickhouse-server)

Om geconfigureerde poorten in de configuratie te controleren:

cat /etc/clickhouse-server/config.xml | grep -E "port>" | head -20

Om een specifieke poort te controleren:

ss -tlnp | grep :8123

Verwachte uitvoer van poortcontrole:

LISTEN  *:8123  clickhouse-serv  (HTTP)
LISTEN  *:9000  clickhouse-serv  (Native TCP)
LISTEN  *:9004  clickhouse-serv  (MySQL)
LISTEN  *:9005  clickhouse-serv  (PostgreSQL)
LISTEN  *:9009  clickhouse-serv  (Interserver)

Een server met ClickHouse bestellen¶