Անցնել պարունակությանը

Apache Airflow

Այս հոդվածում

Տեղեկատվություն

Apache Airflow-ը հզոր և ճկուն հարթակ է տվյալների հոսքերի (data pipeline) առաջադրանքների մշակման, ժամանակացույցի պահպանման և մոնիթորինգի համար: Այն կարող է օգտագործվել հասարակական հավելվածների լայն շրջանակում՝ տվյալների հավաքագրման, փոխակերպման և տարբեր աղբյուրներից բեռնման սկրիպտների գործարկում, էլեկտրոնային փոստի արշավների ժամանակացույցի պահանում, թեստավորման ավտոմատացում և այլն:

Apache Airflow-ի հնարավորություններ

  • Airflow-ն օգտագործում է Python՝ աշխատանքային գործընթացները (workflows) սահմանելու համար, ինչը դրանք դարձնում է թափանցիկ, հեշտությամբ կարգավորվող և վերարտադրելի;
  • Իր բաց API-ի և օպերատորների լայն շրջանակի շնորհիվ Airflow-ն կարող է ինտեգրվել բազմաթիվ տեխնոլոգիաների և գործիքների հետ;
  • Airflow-ի web interface-ը տրամադրում է աշխատանքային գործընթացների կարգավիճակի ինտերակտիվ տեսանցար, ինչը թույլ է տալիս հետևել առաջադրանքների կատարմանը և հեշտությամբ կառավարել դրանք;
  • Airflow-ի ներկառուցված scheduler-ը թույլ է տալիս առաջադրանքները գործարկել որոշակի ժամանակին կամ սահմանված պարբերականությամբ (օրինակ՝ ամեն ժամ, ամեն օր);
  • Airflow-ն ավտոմատ կերպով կառավարում է առաջադրանքների միջև կապը (dependencies), ապահովելով աշխատանքների կատարումը ճիշտ հերթականությամբ;
  • Airflow-ն թույլ է տալիս մեծ առաջադրանքները բաժանել ավելի փոքր, կառավարելի մոդուլների, պարզեցնելով մշակումը և սխալների հայտնաբերումը (debugging);
  • Հարթակ զուգահեռ առաջադրանքների կատարումը և բաշխված հաշվարկների (distributed computing) աջակցությունը արագացնում են մեծ ծավալի տվյալների մշակումը;
  • Airflow-ն ավտոմատ կերպով վերագործարկում է ձախողված առաջադրանքները՝ երաշխավորելով աշխատանքային գործընթացների կայունությունը;
  • Airflow-ն ավտոմատացնում է առօրյա առաջադրանքները՝ ազատելով մշակողների ժամանակը ավելի կարևոր պարտականությունների համար:

Տեղակայման հնարավորություններ

ID Ծրագրային ապահովման անվանում Համատեղելի ՕՀ VM BM VGPU GPU Նվազագույն CPU (միջուկներ) Նվազագույն RAM (ԳԲ) Նվազագույն HDD/SSD (ԳԲ) Սեփական դոմեն Ակտիվ
201 Apache Airflow Ubuntu 24.04 + + + + 4 4 60 Ոչ ՊԱՏՎԻՐԵԼ

Նշում

Եթե այլ բան նախատեսված չէ, ռեժիմում մենք տեղադրում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի պահոցներից:

Ինչպես սկսել Apache Airflow-ի տեղակայումից հետո

Պատվերն վճարելուց հետո դուք կստանաք ծանուցում՝ գրանցման ժամանակ նշված էլեկտրոնային փոստի հասցեին, որը կհայտնի սերվերի պատրաստ լինելու մասին: Այդ ծանուցումը կներառի VPS IP հասցեն և միացման համար անհրաժեշտ մուտքի տվյալները: Մեր ընկերության հաճախորդները կառավարում են սարքավորումները server control panel և API — Invapi միջոցով:

Ավտոմատացման տվյալները, որոնք կարող են հայտնաբերվել սերվերի կառավարման պանելի Configuration >> Tags թաբում կամ սերվերի պատրաստ լինելու պահին ուղարկված էլեկտրոնային փոստում:

  • Apache Airflow web interface control panel-ին մուտք գործելու հղումը: webpanel թեգում;
  • Login: admin;
  • Password: ուղարկվում է էլեկտրոնային փոստով, երբ սերվերը պատրաստ է օգտագործման:

Արտահայտում (Authentication)

Admin օգտվողի համար լռելյայն սահմանված են հետևյալ պարամետրերը.

Command line interface-ը հասանելի է airflow հրամանով:

Debian 12-ում օգտագործվում է վիրտուալ միջավայր, որը կարող է ակտիվացվել հետևյալ հրամանով.

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Դրանից հետո CLI-ը նույնպես հասանելի կլինի airflow հրամանով:

Նշում

Apache Airflow-ի հիմնական կարգավորումների մասին մանրամասն տեղեկություն կարող եք գտնել մշակողների փաստաթղթերում.

Apache Airflow սերվերի պատվիրում API-ի միջոցով

Այս ծրագրակազմը API-ի միջոցով տեղադրելու համար հետևեք այս հրահանգներին.

question_mark
Is there anything I can help you with?
question_mark
AI Assistant ×