Apache Airflow¶
En este artículo
- Características de Apache Airflow
- Funcionalidades de implementación
- Primeros pasos después de implementar Apache Airflow
- Autenticación
- Pedido de un servidor con Apache Airflow mediante la API
En este artículo
Información
Apache Airflow es una plataforma potente y flexible para el desarrollo, programación y supervisión de tareas de pipelines de datos. Se puede utilizar en una amplia gama de aplicaciones: ejecución de scripts para la recopilación, transformación y carga de datos desde diversas fuentes, programación de campañas de correo electrónico, automatización de pruebas, entre otros.
Características de Apache Airflow¶
- Airflow utiliza Python para definir flujos de trabajo, lo que los hace transparentes, fácilmente personalizables y reproducibles;
- Gracias a su API abierta y a una amplia gama de operadores, Airflow puede integrarse con numerosas tecnologías y herramientas;
- La interfaz web de Airflow proporciona una visión general interactiva del estado del flujo de trabajo, permitiendo hacer un seguimiento de la ejecución de tareas y gestionarlas con facilidad;
- El programador integrado de Airflow permite ejecutar tareas en un momento específico o con una periodicidad definida (por ejemplo, cada hora, cada día);
- Airflow gestiona automáticamente las dependencias entre tareas, asegurando que el trabajo se realice en el orden correcto;
- Airflow permite dividir tareas grandes en módulos más pequeños y manejables, simplificando el desarrollo y la depuración;
- La ejecución paralela de tareas y el soporte para computación distribuida aceleran el procesamiento de grandes volúmenes de datos;
- Airflow reinicia automáticamente las tareas fallidas, garantizando la estabilidad del flujo de trabajo;
- Airflow automatiza tareas rutinarias, liberando tiempo de los desarrolladores para asignaciones más importantes.
Funcionalidades de implementación¶
| ID | Nombre del Software | SO Compatible | VM | BM | VGPU | GPU | CPU Mín. (Núcleos) | RAM Mín. (GB) | HDD/SSD Mín. (GB) | Dominio Personalizado | Activo |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 22.04 | + | + | + | + | 4 | 4 | 60 | No | PEDIR |
- Acceso al panel de control:
https://airflow{Server_ID_from_Invapi}.hostkey.in; - El tiempo de instalación del panel junto con el sistema operativo es de aproximadamente 15 minutos.
Nota
A menos que se especifique lo contrario, por defecto instalamos la última versión de lanzamiento del software desde el sitio web del desarrollador o los repositorios del sistema operativo.
Primeros pasos después de implementar Apache Airflow¶
Tras realizar el pago del pedido, recibirá una notificación en la dirección de correo electrónico registrada durante la inscripción, indicando que el servidor está listo. Esta notificación incluirá la dirección IP del VPS y las credenciales de inicio de sesión para la conexión. Los clientes de nuestra empresa gestionan el equipo a través del panel de control del servidor y la API — Invapi.
Los datos de autenticación, que se pueden encontrar en la pestaña Configuration >> Tags del panel de gestión del servidor o en el correo electrónico enviado cuando el servidor está listo:
- Enlace para acceder al panel de control de la interfaz web de Apache Airflow: en la etiqueta webpanel;
- Usuario:
admin; - Contraseña: enviada por correo electrónico una vez que el servidor está listo para su uso.
Autenticación¶
Los siguientes parámetros están configurados por defecto para el usuario Admin:
- firstname:
admin; - lastname:
admin; - email:
[email protected].
La interfaz de línea de comandos es accesible mediante el comando airflow.
En Debian 12, se utiliza un entorno virtual, que se puede activar con el comando:
Después de esto, la CLI también será accesible mediante el comando airflow.
Nota
Información detallada sobre la configuración principal de Apache Airflow se puede encontrar en la documentación de los desarrolladores.