Apache Airflow¶
Այս հոդվածում
Տեղեկատվություն
Apache Airflow-ը հզոր և ճկուն հարթակ է տվյալների հոսքերի (data pipeline) առաջադրանքների մշակման, ժամանակացույցի պահպանման և մոնիթորինգի համար: Այն կարող է օգտագործվել հասարակական հավելվածների լայն շրջանակում՝ տվյալների հավաքագրման, փոխակերպման և տարբեր աղբյուրներից բեռնման սկրիպտների գործարկում, էլեկտրոնային փոստի արշավների ժամանակացույցի պահանում, թեստավորման ավտոմատացում և այլն:
Apache Airflow-ի հնարավորություններ¶
- Airflow-ն օգտագործում է Python՝ աշխատանքային գործընթացները (workflows) սահմանելու համար, ինչը դրանք դարձնում է թափանցիկ, հեշտությամբ կարգավորվող և վերարտադրելի;
- Իր բաց API-ի և օպերատորների լայն շրջանակի շնորհիվ Airflow-ն կարող է ինտեգրվել բազմաթիվ տեխնոլոգիաների և գործիքների հետ;
- Airflow-ի web interface-ը տրամադրում է աշխատանքային գործընթացների կարգավիճակի ինտերակտիվ տեսանցար, ինչը թույլ է տալիս հետևել առաջադրանքների կատարմանը և հեշտությամբ կառավարել դրանք;
- Airflow-ի ներկառուցված scheduler-ը թույլ է տալիս առաջադրանքները գործարկել որոշակի ժամանակին կամ սահմանված պարբերականությամբ (օրինակ՝ ամեն ժամ, ամեն օր);
- Airflow-ն ավտոմատ կերպով կառավարում է առաջադրանքների միջև կապը (dependencies), ապահովելով աշխատանքների կատարումը ճիշտ հերթականությամբ;
- Airflow-ն թույլ է տալիս մեծ առաջադրանքները բաժանել ավելի փոքր, կառավարելի մոդուլների, պարզեցնելով մշակումը և սխալների հայտնաբերումը (debugging);
- Հարթակ զուգահեռ առաջադրանքների կատարումը և բաշխված հաշվարկների (distributed computing) աջակցությունը արագացնում են մեծ ծավալի տվյալների մշակումը;
- Airflow-ն ավտոմատ կերպով վերագործարկում է ձախողված առաջադրանքները՝ երաշխավորելով աշխատանքային գործընթացների կայունությունը;
- Airflow-ն ավտոմատացնում է առօրյա առաջադրանքները՝ ազատելով մշակողների ժամանակը ավելի կարևոր պարտականությունների համար:
Տեղակայման հնարավորություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 24.04 | + | + | + | + | 4 | 4 | 60 | Ոչ | ՊԱՏՎԻՐԵԼ |
Նշում
Եթե այլ բան նախատեսված չէ, ռեժիմում մենք տեղադրում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի պահոցներից:
Ինչպես սկսել Apache Airflow-ի տեղակայումից հետո¶
Պատվերն վճարելուց հետո դուք կստանաք ծանուցում՝ գրանցման ժամանակ նշված էլեկտրոնային փոստի հասցեին, որը կհայտնի սերվերի պատրաստ լինելու մասին: Այդ ծանուցումը կներառի VPS IP հասցեն և միացման համար անհրաժեշտ մուտքի տվյալները: Մեր ընկերության հաճախորդները կառավարում են սարքավորումները server control panel և API — Invapi միջոցով:
Ավտոմատացման տվյալները, որոնք կարող են հայտնաբերվել սերվերի կառավարման պանելի Configuration >> Tags թաբում կամ սերվերի պատրաստ լինելու պահին ուղարկված էլեկտրոնային փոստում:
- Apache Airflow web interface control panel-ին մուտք գործելու հղումը: webpanel թեգում;
- Login:
admin; - Password: ուղարկվում է էլեկտրոնային փոստով, երբ սերվերը պատրաստ է օգտագործման:
Արտահայտում (Authentication)¶
Admin օգտվողի համար լռելյայն սահմանված են հետևյալ պարամետրերը.
- firstname:
admin; - lastname:
admin; - email:
[email protected].


Command line interface-ը հասանելի է airflow հրամանով:
Debian 12-ում օգտագործվում է վիրտուալ միջավայր, որը կարող է ակտիվացվել հետևյալ հրամանով.
Դրանից հետո CLI-ը նույնպես հասանելի կլինի airflow հրամանով:
Նշում
Apache Airflow-ի հիմնական կարգավորումների մասին մանրամասն տեղեկություն կարող եք գտնել մշակողների փաստաթղթերում.
Apache Airflow սերվերի պատվիրում API-ի միջոցով¶
Այս ծրագրակազմը API-ի միջոցով տեղադրելու համար հետևեք այս հրահանգներին.