Անցնել պարունակությանը

Apache Airflow

Այս հոդվածում

Այս հոդվածում

Տեղեկատվություն

Apache Airflow-ն հզոր և ճկուն հարթակ է տվյալների հոսքերի (data pipelines) խնդիրների մշակման, պլանավորման և հսկողության համար: Այն կարող է կիրառվել լայն շրջանակի խնդիրներում՝ տարբեր աղբյուրներից տվյալների հավաքագրման, վերափոխման և բեռնման սկրիպտերի գործարկում, էլ. փոստի արշավների պլանավորում, թեստավորման ավտոմատացում և այլն:

Apache Airflow-ի հնարավորություններ

  • Airflow-ն օգտագործում է Python-ը աշխատանքային հոսքերը սահմանելու համար, ինչը դարձնում է դրանք թափանցիկ, հեշտ հարմարեցվող և վերարտադրելի:
  • Բաց API-ի և օպերատորների լայն ընտրանքի շնորհիվ Airflow-ն կարող է ինտեգրվել բազմաթիվ տեխնոլոգիաների և գործիքների հետ:
  • Airflow-ի վեբ ինտերֆեյսը ապահովում է աշխատանքային հոսքերի կարգավիճակի ինտերակտիվ ակնարկ, թույլ տալիս հետևել խնդիրների կատարմանը և հեշտությամբ կառավարել դրանք:
  • Airflow-ի ներկառուցված պլանավորիչը թույլ է տալիս գործարկել խնդիրները կոնկրետ ժամանակի կամ սահմանված պարբերականությամբ (օրինակ՝ յուրաքանչյուր ժամ, յուրաքանչյուր օր):
  • Airflow-ն ավտոմատ կերպով կառավարում է խնդիրների միջև կախվածությունները՝ ապահովելով աշխատանքի կատարումը ճիշտ հաջորդականությամբ:
  • Airflow-ն թույլ է տալիս մեծ խնդիրները բաժանել ավելի փոքր, կառավարելի մոդուլների՝ պարզեցնելով մշակումը և սխալների ուղղումը (debugging):
  • Խնդիրների զուգահեռ կատարումը և բաշխված հաշվարկների աջակցությունը արագացնում են մեծ ծավալի տվյալների մշակումը:
  • Airflow-ն ավտոմատ կերպով վերագործարկում է ձախողված խնդիրները՝ երաշխավորելով աշխատանքային հոսքերի կայունությունը:
  • Airflow-ն ավտոմատացնում է ռուտինային խնդիրները՝ ազատելով մշակողների ժամանակը ավելի կարևոր առաջադրանքների համար:

Տեղադրման պահանջներ

ID Ծրագրային ապահովման անվանում Համատեղելի ՕՀ VM BM VGPU GPU Նվազագույն CPU (միջուկներ) Նվազագույն RAM (ԳԲ) Նվազագույն HDD/SSD (ԳԲ) Սեփական դոմեն Ակտիվ
201 Apache Airflow Ubuntu 22.04 + + + + 4 4 60 Ոչ ՊԱՏՎԻՐԵԼ
  • Վերահսկողության պանելին մուտք. https://airflow{Server_ID_from_Invapi}.hostkey.in;
  • Պանելի և օպերացիոն համակարգի տեղադրումը տևում է մոտ 15 րոպե:

Նշում

Եթե այլ կերպ նշված չէ, լռելյայն մենք տեղադրում ենք ծրագրային ապահովման վերջին թողարկված տարբերակը՝ մշակողի կայքից կամ օպերացիոն համակարգի պահոցներից:

Սկսել աշխատել Apache Airflow-ի տեղադրումից հետո

Պատվերի վճարումից հետո դուք կստանաք ծանուցում այն էլ. փոստի հասցեին, որը գրանցվել էր գրանցման ժամանակ, որը հայտնում է սերվերի պատրաստ լինելու մասին: Այս ծանուցումը կներառի VPS-ի IP հասցեն և մուտքի տվյալները միացման համար: Մեր ընկերության հաճախորդները սարքավորումները կառավարում են սերվերի վերահսկողության պանելի և API-ի միջոցով՝ Invapi:

Մուտքի տվյալները, որոնք կարելի է գտնել սերվերի կառավարման պանելի Configuration >> Tags թաբում կամ սերվերի պատրաստ լինելուց հետո ուղարկված էլ. փոստով.

  • Մուտքի հղում Apache Airflow վեբ ինտերֆեյսի վերահսկողության պանել. webpanel թեգում:
  • Մուտք. admin:
  • Գաղտնաբառ. ուղարկվում է էլ. փոստով սերվերի օգտագործման համար պատրաստ լինելուց հետո:

Մուտք

Admin օգտատիրոջ համար լռելյայն սահմանված են հետևյալ պարամետրերը.

Կոմանդային տողի ինտերֆեյսին մուտքը հասանելի է airflow կոմանդայի միջոցով:

Debian 12-ում օգտագործվում է վիրտուալ միջավայր, որը կարելի է ակտիվացնել հետևյալ կոմանդայով.

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Այստեղից հետո CLI-ն նույնպես կլինի հասանելի airflow կոմանդայի միջոցով:

Նշում

Apache Airflow-ի հիմնական կարգավորումների մանրամասն տեղեկատվությունը կարելի է գտնել մշակողների փաստաթղթերում:

Սերվերի պատվեր Apache Airflow-ով API-ի միջոցով

question_mark
Is there anything I can help you with?
question_mark
AI Assistant ×