Apache Airflow¶
在这篇文章中
本文目录
信息
Apache Airflow 是一个强大且灵活的平台，用于开发、调度和监控数据管道任务。它可应用于广泛的场景：启动用于从各种来源收集、转换和加载数据的脚本，调度电子邮件营销活动，自动化测试等。
Apache Airflow 功能¶
- Airflow 使用 Python 定义工作流，使其透明、易于自定义且可重现；
- 凭借其开放 API 和丰富的运算符，Airflow 可与众多技术和工具集成；
- Airflow Web 界面提供工作流状态的交互式概览，便于跟踪任务执行并轻松管理；
- Airflow 内置的调度器支持在特定时间或以定义的周期性（例如每小时、每天）启动任务；
- Airflow 自动管理任务之间的依赖关系，确保工作按正确顺序执行；
- Airflow 允许将大型任务分解为更小、更易管理的模块，简化开发和调试；
- 并行任务执行和对分布式计算的支持加速了大数据量的处理；
- Airflow 自动重启失败的任务，保证工作流的稳定性；
- Airflow 自动化常规任务，释放开发人员的时间以专注于更重要的任务。
部署功能¶
| ID | 软件名称 | 兼容操作系统 | 虚拟机 | 物理机 | vGPU | GPU | 最低CPU(核) | 最低内存(GB) | 最低硬盘(GB) | 自定义域名 | 是否启用 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 201 | Apache Airflow | Ubuntu 22.04 | + | + | + | + | 4 | 4 | 60 | 否 | 订购 |
- 控制面板访问地址：
https://airflow{Server_ID_from_Invapi}.hostkey.in； - 面板连同操作系统的安装时间约为 15 分钟。
备注
除非另有说明，默认情况下，我们从开发者网站或操作系统存储库安装软件的最新发布版本。
部署 Apache Airflow 后的入门指南¶
支付订单后，您将收到一封发送至注册时所用电子邮件地址的通知，表明服务器已准备就绪。该通知将包含 VPS IP 地址和连接所需的登录凭据。我们的客户通过 服务器控制面板和 API — Invapi 管理设备。
认证数据可在服务器管理面板的 Configuration >> Tags 选项卡中找到，也可在服务器准备就绪时发送的电子邮件中找到：
- 访问 Apache Airflow Web 界面控制面板的链接：位于 webpanel 标签中；
- 登录名：
admin； - 密码：在服务器准备就绪后通过电子邮件发送。
身份验证¶
Admin 用户的默认参数设置如下：
- firstname:
admin； - lastname:
admin； - email:
[email protected]。
命令行界面可通过 airflow 命令访问。
在 Debian 12 中，使用虚拟环境，可通过以下命令激活：
此后，CLI 也可通过 airflow 命令访问。
备注
有关 Apache Airflow 主要设置的详细信息，请参阅 开发者文档。