ClickHouse¶

Dans cet article

• ClickHouse. Fonctionnalités principales
• Fonctionnalités de déploiement
• Prise en main après le déploiement de ClickHouse
• Connexion à ClickHouse
• Opérations principales dans ClickHouse
• Commande d'un serveur avec ClickHouse

ClickHouse. Fonctionnalités principales¶

• Stockage colonnaire : les données sont stockées par colonnes plutôt que par lignes, ce qui accélère considérablement l'exécution des requêtes analytiques et réduit le volume de données traitées.
• Haute performance : optimisé pour la gestion de jeux de données massifs et capable d'exécuter des requêtes sur des milliards de lignes grâce au traitement vectorisé et à une utilisation efficace du CPU.
• Compression des données : utilise des algorithmes de compression spécialisés qui peuvent réduire considérablement la quantité de données stockées (souvent plusieurs fois plus petit que les SGBD basés sur les lignes), en particulier sous des charges de travail analytiques.
• Compatibilité SQL : prend en charge une syntaxe SQL étendue avec des fonctions analytiques supplémentaires, simplifiant la migration des applications existantes.
• Traitement distribué : permet la création de clusters pour une mise à l'échelle horizontale et le traitement des données sur plusieurs serveurs.
• Réplication des données : la prise en charge intégrée de la réplication assure la tolérance aux pannes et une haute disponibilité des données.
• Prise en charge de plusieurs formats de données : peut importer et exporter des données au format CSV, JSON, Parquet, Avro et d'autres formats.
• Vues matérialisées : agrège automatiquement les données en arrière-plan pour accélérer les requêtes récurrentes.
• Intégration avec des sources externes : prend en charge la lecture directe de données depuis MySQL, PostgreSQL, MongoDB, Kafka, S3 et d'autres systèmes.

Fonctionnalités de déploiement¶

• Logiciels installés :

  • ClickHouse Server >= 26.1.1
  • ClickHouse Client >= 26.1.1

• Spécificités d'installation :

  • Logiciel installé via le script officiel du développeur ;
  • Temps d'installation : 5 à 10 minutes ;
  • La base de données est accessible pour les connexions réseau via divers clients SQL ;
  • Par défaut, l'utilisateur default avec le mot de passe du compte root est utilisé.

Emplacements des fichiers de configuration et de données :

• Configuration principale du serveur : /etc/clickhouse-server/config.xml
• Paramètres utilisateur : /etc/clickhouse-server/users.xml
• Journaux du serveur :
  • /var/log/clickhouse-server/clickhouse-server.log
  • /var/log/clickhouse-server/clickhouse-server.err.log
• Données : /var/lib/clickhouse/
• Fichier PID : /run/clickhouse-server/clickhouse-server.pid
• Limites système : /etc/security/limits.d/clickhouse.conf

Ports disponibles pour les connexions :

Prise en main après le déploiement de ClickHouse¶

Une notification sera envoyée à l'adresse e-mail spécifiée lors de l'inscription indiquant que le serveur est prêt pour le travail après le paiement de la commande. Elle contiendra l'adresse IP du VPS, ainsi que le nom d'utilisateur et le mot de passe pour la connexion. Les clients de notre entreprise gèrent le matériel dans les serveurs et le panneau de contrôle API - Invapi.

Détails d'autorisation :

• Adresse IP du serveur : fournie dans l'e-mail et dans le panneau de contrôle ;
• Nom d'utilisateur : default ;
• Mot de passe : correspond au mot de passe du compte root et est envoyé à l'adresse e-mail.

Connexion à ClickHouse¶

Connexion via clickhouse-client¶

ClickHouse inclut un client natif en ligne de commande pour les opérations de base de données.

1. Connexion depuis le serveur (localement) :

clickhouse-client

2. Connexion depuis une machine distante :

clickhouse-client --host <adresse-IP> --port 9000 --user default --password <password>

3. Exécution d'une requête simple :

SELECT version();

4. Affichage de la liste des bases de données :

SHOW DATABASES;

Connexion via DBeaver¶

DBeaver est un client GUI universel pour travailler avec diverses bases de données, y compris ClickHouse.

1. Installation de DBeaver

Téléchargez et installez DBeaver depuis le site officiel.

2. Création d'une nouvelle connexion

• Lancez DBeaver
• Sélectionnez Database >> New Database Connection (ou appuyez sur Ctrl+Shift+N)

• Dans la liste des bases de données, trouvez et sélectionnez ClickHouse

• Cliquez sur Next

3. Configuration des paramètres de connexion

Dans la fenêtre de paramètres, spécifiez les paramètres suivants :

Host: <IP-address of your server>
Port: 8123
Database/Schema: (laissez vide ou spécifiez default)
Username: default
Password: <mot_de_passe_root>

4. Téléchargement du pilote JDBC

Lors de la première connexion, DBeaver vous demandera de télécharger le pilote JDBC pour ClickHouse :

• Cliquez sur Download dans la fenêtre contextuelle :

• Attendez que le téléchargement du pilote soit terminé :

• Cliquez sur OK

5. Test de la connexion

• Cliquez sur Test Connection ;
• Si tout est correctement configuré, un message apparaîtra : Connected (XXX ms) :

• Le message inclura :
• Server: ClickHouse X.X.X.XXX
• Driver: ClickHouse JDBC Driver X.X.X

6. Finalisation de la configuration

• Cliquez sur Finish ;
• La connexion apparaîtra dans le Database Navigator ;
• Développez l'arborescence de connexion pour afficher les bases de données, les tables et autres objets.

Problèmes courants :

Opérations principales dans ClickHouse¶

Création d'une base de données¶

CREATE DATABASE IF NOT EXISTS my_database;

Création d'une table¶

CREATE TABLE my_database.events
(
    event_date Date,
    event_time DateTime,
    user_id UInt32,
    event_type String,
    value Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

Insertion de données¶

INSERT INTO my_database.events VALUES
    ('2024-12-25', '2024-12-25 10:00:00', 1, 'click', 1.5),
    ('2024-12-25', '2024-12-25 10:05:00', 2, 'view', 2.3),
    ('2024-12-25', '2024-12-25 10:10:00', 1, 'purchase', 99.99);

Sélection de données¶

Requête simple :

SELECT * FROM my_database.events LIMIT 10;

Agrégation de données :

SELECT 
    event_type,
    count() as events_count,
    avg(value) as avg_value
FROM my_database.events
WHERE event_date = '2024-12-25'
GROUP BY event_type;

Séries temporelles :

SELECT 
    toStartOfHour(event_time) as hour,
    count() as events_per_hour
FROM my_database.events
WHERE event_date >= '2024-12-01'
GROUP BY hour
ORDER BY hour;

Importation de données depuis CSV¶

Création d'une table :

CREATE TABLE my_database.logs
(
    timestamp DateTime,
    level String,
    message String
)
ENGINE = MergeTree()
ORDER BY timestamp;

Importation de données :

INSERT INTO my_database.logs
FROM INFILE '/path/to/file.csv'
FORMAT CSV;

Gestion des utilisateurs et des privilèges¶

Création d'un utilisateur :

CREATE USER analyst IDENTIFIED BY 'secure_password';

Attribution de permissions :

GRANT SELECT ON my_database.* TO analyst;

Affichage des utilisateurs :

SHOW USERS;

Affichage des privilèges :

SHOW GRANTS FOR analyst;

Gestion du service¶

Démarrage du service :

clickhouse start

Arrêt du service :

clickhouse stop

Redémarrage du service :

clickhouse restart

Statut du service :

clickhouse status

Affichage des journaux :

tail -f /var/log/clickhouse-server/clickhouse-server.log

Vérification des ports actifs¶

Pour voir sur quels ports ClickHouse écoute :

ss -tlnp | grep clickhouse

Ou plus en détail :

ss -tlnp | grep $(pidof clickhouse-server)

Pour vérifier les ports configurés dans la configuration :

cat /etc/clickhouse-server/config.xml | grep -E "port>" | head -20

Pour vérifier un port spécifique :

ss -tlnp | grep :8123

Sortie attendue de la vérification des ports :

LISTEN  *:8123  clickhouse-serv  (HTTP)
LISTEN  *:9000  clickhouse-serv  (Native TCP)
LISTEN  *:9004  clickhouse-serv  (MySQL)
LISTEN  *:9005  clickhouse-serv  (PostgreSQL)
LISTEN  *:9009  clickhouse-serv  (Interserver)

Commande d'un serveur avec ClickHouse¶