ClickHouse¶

Այս հոդվածում

• ClickHouse. Հիմնական հնարավորություններ
• Տեղակայման հնարավորություններ
• Սկսել աշխատել ClickHouse-ի տեղադրումից հետո
• Կապվել ClickHouse-ի հետ
• Հիմնական գործողություններ ClickHouse-ում
• Սերվերի պատվեր ClickHouse-ով

ClickHouse. Հիմնական հնարավորություններ¶

• Սյունային պահպանում. տվյալները պահվում են սյունակներով, այլ ոչ թե տողերով, ինչը զգալիորեն արագացնում է անալիտիկ հարցումների կատարումը և նվազեցնում մշակվող տվյալների ծավալը։
• Բարձր արդյունավետություն. օպտիմալացված է հսկայական տվյալների բազաների հետ աշխատելու համար և կարողանում է կատարել հարցումներ միլիարդավոր տողերի վրա՝ շնորհիվ վեկտորային մշակման և CPU-ի արդյունավետ օգտագործման։
• Տվյալների սեղմում. օգտագործում է մասնագիտացված սեղմման ալգորիթմներ, որոնք կարող են զգալիորեն նվազեցնել պահվող տվյալների քանակը (հաճախ մի քանի անգամ ավելի քիչ, քան տողային DBMS-ները), հատկապես անալիտիկ բեռի դեպքում։
• SQL համատեղելիություն. աջակցում է ընդլայնված SQL սինտաքսին՝ լրացուցիչ անալիտիկ ֆունկցիաներով, ինչը պարզեցնում է գոյություն ունեցող հավելվածների միգրացիան։
• Բաշխված մշակում. հնարավորություն է տալիս ստեղծել կլաստեր՝ հորիզոնական մասշտաբավորման և տվյալների մշակման համար մի քանի սերվերների վրա։
• Տվյալների ռեպլիկացիա. ներկառուցված ռեպլիկացիայի աջակցությունը ապահովում է սխալանման դիմադրողականություն և տվյալների բարձր հասանելիություն։
• Տարբեր տվյալների ֆորմատների աջակցություն. կարող է ներմուծել և արտահանել տվյալներ CSV, JSON, Parquet, Avro և այլ ֆորմատներով։
• Մատերիալացված տեսքեր. ավտոմատ կերպով ագրեգացնում է տվյալները ֆոնային ռեժիմում՝ կրկնվող հարցումները արագացնելու համար։
• Ինտեգրում արտաքին աղբյուրների հետ. աջակցում է տվյալների ուղղակի ընթերցում MySQL, PostgreSQL, MongoDB, Kafka, S3 և այլ համակարգերից։

Տեղակայման հնարավորություններ¶

• Տեղադրված ծրագրային ապահովում.

  • ClickHouse Server >= 26.1.1
  • ClickHouse Client >= 26.1.1

• Տեղադրման առանձնահատկություններ.

  • Ծրագրային ապահովումը տեղադրվում է պաշտոնական մշակողի սկրիպտի միջոցով;
  • Տեղադրման ժամանակ. 5-10 րոպե;
  • Բազան հասանելի է ցանցային կապերի համար՝ տարբեր SQL հաճախորդների միջոցով;
  • Ըստ լռելյայնի օգտագործվում է default օգտատերը՝ root հաշվի գաղտնաբառով։

Կոնֆիգուրացիայի և տվյալների ֆայլերի գտնվելու վայրեր.

• Հիմնական սերվերի կոնֆիգուրացիա. /etc/clickhouse-server/config.xml
• Օգտատերերի կարգավորումներ. /etc/clickhouse-server/users.xml
• Սերվերի լոգեր.
  • /var/log/clickhouse-server/clickhouse-server.log
  • /var/log/clickhouse-server/clickhouse-server.err.log
• Տվյալներ. /var/lib/clickhouse/
• PID ֆայլ. /run/clickhouse-server/clickhouse-server.pid
• Համակարգի սահմանափակումներ. /etc/security/limits.d/clickhouse.conf

Հասանելի պորտեր կապերի համար.

Սկսել աշխատել ClickHouse-ի տեղադրումից հետո¶

Գրանցման ժամանակ նշված էլ. հասցեին կուղարկվի ծանուցում, որ սերվերը պատրաստ է աշխատանքի համար՝ պատվերի վճարումից հետո։ Այն կպարունակի VPS-ի IP հասցեն, ինչպես նաև մուտքի և գաղտնաբառի տվյալները։ Մեր ընկերության հաճախորդները կառավարում են սարքավորումները սերվերի և API կառավարման պանելում - Invapi։

Մուտքի տվյալներ.

• Սերվերի IP հասցե. տրված է էլ. նամակում և կառավարման պանելում;
• Օգտատեր. default;
• Գաղտնաբառ. համընկնում է root հաշվի գաղտնաբառի հետ և ուղարկվում է էլ. հասցեին։

Կապվել ClickHouse-ի հետ¶

Կապվել clickhouse-client-ի միջոցով¶

ClickHouse-ը ներառում է բնածին հրամանների տողի հաճախորդ՝ տվյալների բազայի գործողություններ կատարելու համար։

1. Կապվել սերվերից (տեղային).

clickhouse-client

2. Կապվել հեռավոր մեքենայից.

clickhouse-client --host <IP-address> --port 9000 --user default --password <password>

3. Պարզ հարցում կատարել.

SELECT version();

4. Դիտել տվյալների բազաների ցուցակը.

SHOW DATABASES;

Կապվել DBeaver-ի միջոցով¶

DBeaver-ը ունիվերսալ GUI հաճախորդ է՝ տարբեր տվյալների բազաների, ներառյալ ClickHouse-ի, հետ աշխատելու համար։

1. Ինստալյացիա DBeaver

Ներբեռնեք և տեղադրեք DBeaver-ը պաշտոնական կայքից։

2. Նոր կապ ստեղծել

• Գործարկեք DBeaver
• Ընտրեք Database >> New Database Connection (կամ սեղմեք Ctrl+Shift+N)

• Բազաների ցուցակում գտեք և ընտրեք ClickHouse

• Սեղմեք Next

3. Կապի պարամետրերի կոնֆիգուրացիա

Կարգավորումների պատուհանում նշեք հետևյալ պարամետրերը.

Host: <IP-address of your server>
Port: 8123
Database/Schema: (leave empty or specify default)
Username: default
Password: <root_password>

4. JDBC դրայվերի ներբեռնում

Առաջին անգամ կապվելիս DBeaver-ը կառաջարկի ներբեռնել JDBC դրայվերը ClickHouse-ի համար.

• Սեղմեք Download հայտնված պատուհանում.

• Սպասեք, մինչև դրայվերի ներբեռնումը ավարտվի.

• Սեղմեք OK

5. Կապի թեստավորում

• Սեղմեք Test Connection;
• Եթե ամեն ինչ ճիշտ է կոնֆիգուրացված, կհայտնվի հաղորդագրություն. Connected (XXX ms).

• Հաղորդագրությունը կներառի.
• Server: ClickHouse X.X.X.XXX
• Driver: ClickHouse JDBC Driver X.X.X

6. Կարգավորումների ավարտ

• Սեղմեք Finish;
• Կապը կհայտնվի Database Navigator-ում;
• Բացեք կապի ծառը՝ տվյալների բազաները, աղյուսակները և այլ օբյեկտներ դիտելու համար։

Տարածված խնդիրներ.

Հիմնական գործողություններ ClickHouse-ում¶

Տվյալների բազայի ստեղծում¶

CREATE DATABASE IF NOT EXISTS my_database;

Աղյուսակի ստեղծում¶

CREATE TABLE my_database.events
(
    event_date Date,
    event_time DateTime,
    user_id UInt32,
    event_type String,
    value Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

Տվյալների ներդրում¶

INSERT INTO my_database.events VALUES
    ('2024-12-25', '2024-12-25 10:00:00', 1, 'click', 1.5),
    ('2024-12-25', '2024-12-25 10:05:00', 2, 'view', 2.3),
    ('2024-12-25', '2024-12-25 10:10:00', 1, 'purchase', 99.99);

Տվյալների ընտրություն¶

Պարզ հարցում.

SELECT * FROM my_database.events LIMIT 10;

Տվյալների ագրեգացիա.

SELECT 
    event_type,
    count() as events_count,
    avg(value) as avg_value
FROM my_database.events
WHERE event_date = '2024-12-25'
GROUP BY event_type;

Ժամանակային շարքեր.

SELECT 
    toStartOfHour(event_time) as hour,
    count() as events_per_hour
FROM my_database.events
WHERE event_date >= '2024-12-01'
GROUP BY hour
ORDER BY hour;

Տվյալների ներմուծում CSV-ից¶

Աղյուսակի ստեղծում.

CREATE TABLE my_database.logs
(
    timestamp DateTime,
    level String,
    message String
)
ENGINE = MergeTree()
ORDER BY timestamp;

Տվյալների ներմուծում.

INSERT INTO my_database.logs
FROM INFILE '/path/to/file.csv'
FORMAT CSV;

Օգտատերերի և լիազորությունների կառավարում¶

Օգտատիրոջ ստեղծում.

CREATE USER analyst IDENTIFIED BY 'secure_password';

Լիազորությունների շնորհում.

GRANT SELECT ON my_database.* TO analyst;

Օգտատերերի դիտում.

SHOW USERS;

Լիազորությունների դիտում.

SHOW GRANTS FOR analyst;

Ծառայության կառավարում¶

Ծառայության միացում.

clickhouse start

Ծառայության անջատում.

clickhouse stop

Ծառայության վերագործարկում.

clickhouse restart

Ծառայության կարգավիճակ.

clickhouse status

Լոգերի դիտում.

tail -f /var/log/clickhouse-server/clickhouse-server.log

Ակտիվ պորտերի ստուգում¶

Որպեսզի տեսնեք, թե որ պորտերին է ClickHouse-ը լսում.

ss -tlnp | grep clickhouse

Կամ ավելի մանրամասն.

ss -tlnp | grep $(pidof clickhouse-server)

Ստուգել կոնֆիգուրացիայում կարգավորված պորտերը.

cat /etc/clickhouse-server/config.xml | grep -E "port>" | head -20

Ստուգել կոնկրետ պորտ.

ss -tlnp | grep :8123

Պատկերացվող պորտերի ստուգման ելք.

LISTEN  *:8123  clickhouse-serv  (HTTP)
LISTEN  *:9000  clickhouse-serv  (Native TCP)
LISTEN  *:9004  clickhouse-serv  (MySQL)
LISTEN  *:9005  clickhouse-serv  (PostgreSQL)
LISTEN  *:9009  clickhouse-serv  (Interserver)

Սերվերի պատվեր ClickHouse-ով¶