Apache Airflow¶
In dit artikel
Informatie
Apache Airflow is een krachtig en flexibel platform voor het ontwikkelen, plannen en monitoren van taken in datapijplijnen. Het kan worden gebruikt voor een breed scala aan applicaties: het uitvoeren van scripts voor gegevensverzameling, transformatie en het laden van gegevens uit verschillende bronnen, het plannen van e-mailcampagnes, het automatiseren van tests en meer.
Apache Airflow Functies¶
- Airflow gebruikt Python om workflows te definiëren, waardoor ze transparant, eenvoudig aanpasbaar en reproduceerbaar zijn;
- Dankzij de open API en een breed scala aan operators kan Airflow integreren met talloze technologieën en tools;
- De Airflow webinterface biedt een interactief overzicht van de workflowstatus, waardoor u de uitvoering van taken kunt volgen en deze eenvoudig kunt beheren;
- De ingebouwde scheduler van Airflow maakt het mogelijk om taken uit te voeren op een specifiek tijdstip of met een gedefinieerde periodiciteit (bijv. elk uur, elke dag);
- Airflow beheert automatisch de afhankelijkheden tussen taken, zodat ervoor wordt gezorgd dat het werk in de juiste volgorde wordt uitgevoerd;
- Airflow maakt het mogelijk om grote taken op te splitsen in kleinere, beheersbare modules, wat de ontwikkeling en het debuggen vereenvoudigt;
- Parallelle taakuitvoering en ondersteuning voor gedistribueerde computing versnellen de verwerking van grote datavolumes;
- Airflow start mislukte taken automatisch opnieuw op, wat de stabiliteit van de workflow garandeert;
- Airflow automatiseert routinetaken, waardoor de tijd van ontwikkelaars vrijkomt voor belangrijkere taken.
Implementatiefuncties¶
| ID | Softwarenaam | Compatibel OS | VM | BM | VGPU | GPU | Min CPU (Kernen) | Min RAM (GB) | Min HDD/SSD (GB) | Aangepast Domein | Actief |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 24.04 | + | + | + | + | 4 | 4 | 60 | Nee | BESTELLEN |
Opmerking
Tenzij anders aangegeven, installeren wij standaard de nieuwste releaseversie van de software van de website van de ontwikkelaar of uit de repositories van het besturingssysteem.
Aan de slag na de implementatie van Apache Airflow¶
Nadat u de bestelling heeft betaald, ontvangt u een melding op het e-mailadres dat tijdens de registratie is opgegeven, met de melding dat de server gereed is. Deze melding bevat het VPS IP-adres en de inloggegevens voor de verbinding. De klanten van ons bedrijf beheren de apparatuur via het serverbeheerpaneel en de API — Invapi.
De authenticatiegegevens zijn te vinden in het tabblad Configuration >> Tags van het serverbeheerpaneel of in de e-mail die wordt verzonden zodra de server gereed is:
- Link naar het Apache Airflow webinterface controlepaneel: in de webpanel tag;
- Login:
admin; - Wachtwoord: wordt verzonden in een e-mail nadat de server klaar is voor gebruik.
Authenticatie¶
De volgende parameters zijn standaard ingesteld voor de Admin-gebruiker:
- voornaam:
admin; - achternaam:
admin; - e-mail:
[email protected].
De command line interface is toegankelijk via het airflow commando.
In Debian 12 wordt een virtuele omgeving gebruikt, die geactiveerd kan worden met het commando:
Daarna is de CLI ook toegankelijk via het airflow commando.
Opmerking
Gedetailleerde informatie over de belangrijkste instellingen van Apache Airflow is te vinden in de documentatie voor ontwikkelaars.
Een server met Apache Airflow bestellen via de API¶
Om deze software via de API te installeren, volgt u deze instructies.