Apache Airflow¶
Այս հոդվածում
- Apache Airflow-ի հնարավորություններ
- Տեղադրման պահանջներ
- Սկսել աշխատել Apache Airflow-ի տեղադրումից հետո
- Մուտք
- Սերվերի պատվեր Apache Airflow-ով API-ի միջոցով
Այս հոդվածում
Տեղեկատվություն
Apache Airflow-ն հզոր և ճկուն հարթակ է տվյալների հոսքերի (data pipelines) խնդիրների մշակման, պլանավորման և հսկողության համար: Այն կարող է կիրառվել լայն շրջանակի խնդիրներում՝ տարբեր աղբյուրներից տվյալների հավաքագրման, վերափոխման և բեռնման սկրիպտերի գործարկում, էլ. փոստի արշավների պլանավորում, թեստավորման ավտոմատացում և այլն:
Apache Airflow-ի հնարավորություններ¶
- Airflow-ն օգտագործում է Python-ը աշխատանքային հոսքերը սահմանելու համար, ինչը դարձնում է դրանք թափանցիկ, հեշտ հարմարեցվող և վերարտադրելի:
- Բաց API-ի և օպերատորների լայն ընտրանքի շնորհիվ Airflow-ն կարող է ինտեգրվել բազմաթիվ տեխնոլոգիաների և գործիքների հետ:
- Airflow-ի վեբ ինտերֆեյսը ապահովում է աշխատանքային հոսքերի կարգավիճակի ինտերակտիվ ակնարկ, թույլ տալիս հետևել խնդիրների կատարմանը և հեշտությամբ կառավարել դրանք:
- Airflow-ի ներկառուցված պլանավորիչը թույլ է տալիս գործարկել խնդիրները կոնկրետ ժամանակի կամ սահմանված պարբերականությամբ (օրինակ՝ յուրաքանչյուր ժամ, յուրաքանչյուր օր):
- Airflow-ն ավտոմատ կերպով կառավարում է խնդիրների միջև կախվածությունները՝ ապահովելով աշխատանքի կատարումը ճիշտ հաջորդականությամբ:
- Airflow-ն թույլ է տալիս մեծ խնդիրները բաժանել ավելի փոքր, կառավարելի մոդուլների՝ պարզեցնելով մշակումը և սխալների ուղղումը (debugging):
- Խնդիրների զուգահեռ կատարումը և բաշխված հաշվարկների աջակցությունը արագացնում են մեծ ծավալի տվյալների մշակումը:
- Airflow-ն ավտոմատ կերպով վերագործարկում է ձախողված խնդիրները՝ երաշխավորելով աշխատանքային հոսքերի կայունությունը:
- Airflow-ն ավտոմատացնում է ռուտինային խնդիրները՝ ազատելով մշակողների ժամանակը ավելի կարևոր առաջադրանքների համար:
Տեղադրման պահանջներ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 22.04 | + | + | + | + | 4 | 4 | 60 | Ոչ | ՊԱՏՎԻՐԵԼ |
- Վերահսկողության պանելին մուտք.
https://airflow{Server_ID_from_Invapi}.hostkey.in; - Պանելի և օպերացիոն համակարգի տեղադրումը տևում է մոտ 15 րոպե:
Նշում
Եթե այլ կերպ նշված չէ, լռելյայն մենք տեղադրում ենք ծրագրային ապահովման վերջին թողարկված տարբերակը՝ մշակողի կայքից կամ օպերացիոն համակարգի պահոցներից:
Սկսել աշխատել Apache Airflow-ի տեղադրումից հետո¶
Պատվերի վճարումից հետո դուք կստանաք ծանուցում այն էլ. փոստի հասցեին, որը գրանցվել էր գրանցման ժամանակ, որը հայտնում է սերվերի պատրաստ լինելու մասին: Այս ծանուցումը կներառի VPS-ի IP հասցեն և մուտքի տվյալները միացման համար: Մեր ընկերության հաճախորդները սարքավորումները կառավարում են սերվերի վերահսկողության պանելի և API-ի միջոցով՝ Invapi:
Մուտքի տվյալները, որոնք կարելի է գտնել սերվերի կառավարման պանելի Configuration >> Tags թաբում կամ սերվերի պատրաստ լինելուց հետո ուղարկված էլ. փոստով.
- Մուտքի հղում Apache Airflow վեբ ինտերֆեյսի վերահսկողության պանել. webpanel թեգում:
- Մուտք.
admin: - Գաղտնաբառ. ուղարկվում է էլ. փոստով սերվերի օգտագործման համար պատրաստ լինելուց հետո:
Մուտք¶
Admin օգտատիրոջ համար լռելյայն սահմանված են հետևյալ պարամետրերը.
- firstname:
admin: - lastname:
admin: - email:
[email protected]:


Կոմանդային տողի ինտերֆեյսին մուտքը հասանելի է airflow կոմանդայի միջոցով:
Debian 12-ում օգտագործվում է վիրտուալ միջավայր, որը կարելի է ակտիվացնել հետևյալ կոմանդայով.
Այստեղից հետո CLI-ն նույնպես կլինի հասանելի airflow կոմանդայի միջոցով:
Նշում
Apache Airflow-ի հիմնական կարգավորումների մանրամասն տեղեկատվությունը կարելի է գտնել մշակողների փաստաթղթերում: