Apache Airflow¶
In dit artikel
- Functies van Apache Airflow
- Implementatiefuncties
- Aan de slag na het implementeren van Apache Airflow
- Authenticatie
- Een server met Apache Airflow bestellen via de API
In dit artikel
Informatie
Apache Airflow is een krachtig en flexibel platform voor het ontwikkelen, plannen en monitoren van taken in datapipelines. Het kan worden gebruikt in een breed scala aan toepassingen: scripts starten voor het verzamelen, transformeren en laden van gegevens uit verschillende bronnen, e-mailcampagnes plannen, testen automatiseren en meer.
Functies van Apache Airflow¶
- Airflow gebruikt Python om workflows te definiëren, waardoor deze transparant, eenvoudig aanpasbaar en reproduceerbaar zijn;
- Dankzij de open API en een breed scala aan operators kan Airflow worden geïntegreerd met talloze technologieën en tools;
- De webinterface van Airflow biedt een interactief overzicht van de workflowstatus, zodat u de uitvoering van taken kunt volgen en deze eenvoudig kunt beheren;
- De ingebouwde planner van Airflow maakt het mogelijk om taken op een specifiek moment of met een gedefinieerde periodiekheid te starten (bijv. elk uur, elke dag);
- Airflow beheert automatisch afhankelijkheden tussen taken, zodat het werk in de juiste volgorde wordt uitgevoerd;
- Airflow maakt het mogelijk om grote taken op te splitsen in kleinere, beheersbare modules, wat de ontwikkeling en foutopsporing vereenvoudigt;
- Parallelle taakuitvoering en ondersteuning voor gedistribueerd berekenen versnellen de verwerking van grote gegevensvolumes;
- Airflow start mislukte taken automatisch opnieuw op, wat de stabiliteit van workflows garandeert;
- Airflow automatiseert routinematige taken, waardoor ontwikkelaars tijd besparen voor belangrijkere taken.
Implementatiefuncties¶
| ID | Softwarenaam | Compatibel OS | VM | BM | VGPU | GPU | Min CPU (Kernen) | Min RAM (GB) | Min HDD/SSD (GB) | Aangepast Domein | Actief |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 22.04 | + | + | + | + | 4 | 4 | 60 | Nee | BESTELLEN |
- Toegang tot het controlepaneel:
https://airflow{Server_ID_from_Invapi}.hostkey.in; - De installatietijd van het paneel samen met het besturingssysteem duurt ongeveer 15 minuten.
Opmerking
Tenzij anders vermeld, installeren we standaard de nieuwste releaseversie van software van de website van de ontwikkelaar of uit de repositories van het besturingssysteem.
Aan de slag na het implementeren van Apache Airflow¶
Na betaling van de bestelling ontvangt u een melding op het e-mailadres dat tijdens de registratie is geregistreerd, waarin de gereedheid van de server wordt aangegeven. Deze melding bevat het IP-adres van de VPS en de inloggegevens voor verbinding. Klanten van ons bedrijf beheren apparatuur via het servercontrolepaneel en de API — Invapi.
Authenticatiegegevens, die te vinden zijn in het tabblad Configuration >> Tags van het serverbeheerpaneel of in de e-mail die wordt verzonden wanneer de server klaar is:
- Link voor toegang tot het controlepaneel van de Apache Airflow-webinterface: in de webpanel-tag;
- Gebruikersnaam:
admin; - Wachtwoord: wordt per e-mail verzonden nadat de server klaar is voor gebruik.
Authenticatie¶
De volgende parameters zijn standaard ingesteld voor de Admin-gebruiker:
- voornaam:
admin; - achternaam:
admin; - e-mail:
[email protected].
De commandoregelinterface is toegankelijk via het airflow-commando.
In Debian 12 wordt een virtuele omgeving gebruikt, die kan worden geactiveerd met het commando:
Hierna is de CLI ook toegankelijk via het airflow-commando.
Opmerking
Gedetailleerde informatie over de belangrijkste instellingen van Apache Airflow is te vinden in de documentatie voor ontwikkelaars.