Saltar a contenido

Apache Airflow

En este artículo

En este artículo

Información

Apache Airflow es una plataforma potente y flexible para el desarrollo, programación y supervisión de tareas de pipelines de datos. Se puede utilizar en una amplia gama de aplicaciones: lanzamiento de scripts para la recopilación, transformación y carga de datos desde diversas fuentes, programación de campañas de correo electrónico, automatización de pruebas y más.

Características de Apache Airflow

  • Airflow utiliza Python para definir flujos de trabajo, lo que los hace transparentes, fácilmente personalizables y reproducibles;
  • Gracias a su API abierta y a una amplia gama de operadores, Airflow puede integrarse con numerosas tecnologías y herramientas;
  • La interfaz web de Airflow proporciona una visión general interactiva del estado del flujo de trabajo, permitiéndole hacer un seguimiento de la ejecución de tareas y gestionarlas fácilmente;
  • El programador integrado de Airflow permite lanzar tareas en un momento específico o con una periodicidad definida (por ejemplo, cada hora, cada día);
  • Airflow gestiona automáticamente las dependencias entre tareas, asegurando que el trabajo se realice en el orden correcto;
  • Airflow permite dividir tareas grandes en módulos más pequeños y manejables, simplificando el desarrollo y la depuración;
  • La ejecución paralela de tareas y el soporte para computación distribuida aceleran el procesamiento de grandes volúmenes de datos;
  • Airflow reinicia automáticamente las tareas fallidas, garantizando la estabilidad del flujo de trabajo;
  • Airflow automatiza tareas rutinarias, liberando tiempo de los desarrolladores para asignaciones más importantes.

Funcionalidades de implementación

ID Nombre del software SO compatible VM BM VGPU GPU CPU mín. (núcleos) RAM mín. (GB) HDD/SSD mín. (GB) Dominio personalizado Activo
201 Apache Airflow Ubuntu 22.04 + + + + 4 4 60 No ORDER
  • Acceso al panel de control: https://airflow{Server_ID_from_Invapi}.hostkey.in;
  • El tiempo de instalación del panel junto con el sistema operativo es de aproximadamente 15 minutos.

Nota

A menos que se especifique lo contrario, por defecto instalamos la última versión de lanzamiento del software desde el sitio web del desarrollador o los repositorios del sistema operativo.

Primeros pasos después de implementar Apache Airflow

Después de pagar el pedido, recibirá una notificación en la dirección de correo electrónico registrada durante la inscripción, indicando la disponibilidad del servidor. Esta notificación incluirá la dirección IP del VPS y las credenciales de inicio de sesión para la conexión. Los clientes de nuestra empresa gestionan el equipo a través del panel de control del servidor y la APIInvapi.

Los datos de autenticación, que se pueden encontrar en la pestaña Configuration >> Tags del panel de gestión del servidor o en el correo electrónico enviado al estar el servidor listo:

  • Enlace para acceder al panel de control de la interfaz web de Apache Airflow: en la etiqueta webpanel;
  • Usuario: admin;
  • Contraseña: enviada por correo electrónico después de que el servidor esté listo para su uso.

Autenticación

Los siguientes parámetros están configurados por defecto para el usuario Admin:

La interfaz de línea de comandos es accesible mediante el comando airflow.

En Debian 12, se utiliza un entorno virtual, que se puede activar con el comando:

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Después de esto, la CLI también será accesible mediante el comando airflow.

Nota

Información detallada sobre la configuración principal de Apache Airflow se puede encontrar en la documentación de los desarrolladores.

Pedido de un servidor con Apache Airflow usando la API

Para instalar este software usando la API, siga estas instrucciones.


Parte del contenido de esta página fue creado o traducido utilizando IA.

question_mark
Is there anything I can help you with?
question_mark
AI Assistant ×