Apache Airflow¶
En este artículo
Información
Apache Airflow es una plataforma potente y flexible para desarrollar, programar y monitorizar tareas de pipelines de datos. Puede utilizarse en una amplia gama de aplicaciones: ejecución de scripts para la recopilación, transformación y carga de datos desde diversas fuentes, programación de campañas de correo electrónico, automatización de pruebas y más.
Funcionalidades de Apache Airflow¶
- Airflow utiliza Python para definir flujos de trabajo, lo que los hace transparentes, fáciles de personalizar y reproducibles;
- Gracias a su API abierta y a una amplia gama de operadores, Airflow puede integrarse con numerosas tecnologías y herramientas;
- La interfaz web de Airflow proporciona una visión interactiva del estado del flujo de trabajo, lo que permite realizar un seguimiento de la ejecución de las tareas y gestionarlas fácilmente;
- El scheduler integrado de Airflow permite ejecutar tareas en un momento específico o con una periodicidad definida (por ejemplo, cada hora, cada día);
- Airflow gestiona automáticamente las dependencias entre tareas, garantizando que el trabajo se realice en el orden correcto;
- Airflow permite desglosar grandes tareas en módulos más pequeños y manejables, simplificando el desarrollo y la depuración;
- La ejecución de tareas en paralelo y el soporte para computación distribuida aceleran el procesamiento de grandes volúmenes de datos;
- Airflow reinicia automáticamente las tareas fallidas, garantizando la estabilidad del flujo de trabajo;
- Airflow automatiza las tareas rutinarias, liberando tiempo de los desarrolladores para tareas más importantes.
Funciones de despliegue¶
| ID | Nombre del Software | SO Compatible | VM | BM | VGPU | GPU | CPU Mín. (Núcleos) | RAM Mín. (GB) | HDD/SSD Mín. (GB) | Dominio Personalizado | Activo |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 22.04 | + | + | + | + | 4 | 4 | 60 | No | PEDIR |
Información
Para obtener información sobre las funcionalidades de implementación de este software, consulte este enlace.
Nota
A menos que se especifique lo contrario, por defecto instalamos la última versión de lanzamiento del software desde el sitio web del desarrollador o los repositorios del sistema operativo.
Primeros pasos tras el despliegue de Apache Airflow¶
Tras realizar el pago del pedido, recibirá una notificación en la dirección de correo electrónico registrada durante el registro, indicando que el servidor está listo. Esta notificación incluirá la dirección IP del VPS y las credenciales de inicio de sesión para la conexión. Los clientes de nuestra empresa gestionan el equipo a través del panel de control del servidor y API — Invapi.
Los datos de autenticación, que pueden encontrarse en la pestaña Configuration >> Tags del panel de gestión del servidor o en el correo electrónico enviado tras la preparación del servidor:
- Enlace para acceder al control panel de la interfaz web de Apache Airflow: en la etiqueta webpanel;
- Login:
admin; - Contraseña: enviada por correo electrónico una vez que el servidor esté listo para su uso.
Autenticación¶
Los siguientes parámetros se establecen por defecto para el usuario Admin:
- firstname:
admin; - lastname:
admin; - email:
[email protected].
La interfaz de línea de comandos es accesible mediante el comando airflow.
En Debian 12, se utiliza un entorno virtual que puede activarse con el siguiente comando:
Después de esto, la CLI también será accesible mediante el comando airflow.
Nota
Puede encontrar información detallada sobre los ajustes principales de Apache Airflow en la documentación para desarrolladores.
Pedir un servidor con Apache Airflow mediante la API¶
Para instalar este software utilizando la API, siga estas instrucciones.