Ana içeriğe geç

Apache Airflow

Bu makalede

Bu makalede

Information

Apache Airflow, veri hattı görevlerini geliştirmek, zamanlamak ve izlemek için güçlü ve esnek bir platformdur. Veri toplama, dönüştürme ve çeşitli kaynaklardan yükleme komut dosyalarını başlatmak, e-posta kampanyalarını zamanlamak, testleri otomatikleştirmek ve daha fazlası gibi geniş bir uygulama yelpazesinde kullanılabilir.

Apache Airflow Özellikleri

  • Airflow, iş akışlarını tanımlamak için Python kullanır; bu da iş akışlarını şeffaf, kolayca özelleştirilebilir ve tekrarlanabilir hale getirir;
  • Açık API'si ve geniş bir operatör yelpazesi sayesinde Airflow, sayısız teknoloji ve araçla entegre olabilir;
  • Airflow web arayüzü, iş akışı durumlarının etkileşimli bir genel bakışını sağlayarak görev yürütmesini izlemenize ve bunları kolayca yönetmenize olanak tanır;
  • Airflow'un yerleşik zamanlayıcısı, görevlerin belirli bir zamanda veya tanımlanmış bir periyotla (örneğin, her saat, her gün) başlatılmasını sağlar;
  • Airflow, görevler arasındaki bağımlılıkları otomatik olarak yöneterek işlerin doğru sırada gerçekleştirilmesini sağlar;
  • Airflow, büyük görevlerin daha küçük, yönetilebilir modüllere bölünmesine olanak tanıyarak geliştirmeyi ve hata ayıklamayı kolaylaştırır;
  • Paralel görev yürütme ve dağıtılmış hesaplama desteği, büyük veri hacimlerinin işlenmesini hızlandırır;
  • Airflow, başarısız olan görevleri otomatik olarak yeniden başlatarak iş akışı kararlılığını garanti eder;
  • Airflow, rutin görevleri otomatikleştirerek geliştiricilerin zamanını daha önemli görevler için serbest bırakır.

Çalıştırma Özellikleri

ID Yazılım Adı Uyumlu OS VM BM VGPU GPU Min CPU (Çekirdekler) Min RAM (GB) Min HDD/SSD (GB) Özel Alan Adı Aktif
201 Apache Airflow Ubuntu 22.04 + + + + 4 4 60 Hayır SİPARİŞ VER
  • Kontrol paneline erişim: https://airflow{Server_ID_from_Invapi}.hostkey.in;
  • Panelin ve işletim sisteminin kurulum süresi yaklaşık 15 dakikadır.

Note

Aksi belirtilmedikçe, geliştiricinin web sitesinden veya işletim sistemi depolarından yazılımın en son sürümünü varsayılan olarak kurarız.

Apache Airflow'un Dağıtılmasından Sonra Başlangıç

Sipariş için ödeme yaptıktan sonra, kayıt sırasında belirtilen e-posta adresine sunucunun hazır olduğunu belirten bir bildirim alacaksınız. Bu bildirim, bağlantı için VPS IP adresini ve giriş bilgilerini içerecektir. Şirketimizin müşterileri, donanımı sunucu kontrol paneli ve API — Invapi üzerinden yönetmektedir.

Sunucu yönetim panelinin Configuration >> Tags sekmesinde veya sunucu hazır olduğunda gönderilen e-postada bulunan kimlik doğrulama verileri:

  • Link to access the Apache Airflow web interface control panel: webpanel etiketinde;
  • Login: admin;
  • Password: Sunucu kullanıma hazır olduktan sonra e-posta ile gönderilir.

Kimlik Doğrulama

Admin kullanıcısı için varsayılan olarak aşağıdaki parametreler ayarlanmıştır:

Komut satırı arayüzü, airflow komutu aracılığıyla erişilebilir.

Debian 12'de sanal ortam kullanılır ve aşağıdaki komutla etkinleştirilebilir:

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Bundan sonra, CLI ayrıca airflow komutu aracılığıyla erişilebilir olacaktır.

Note

Apache Airflow'un temel ayarları hakkında ayrıntılı bilgi, geliştiricilerin dokümantasyonunda bulunabilir.

API kullanarak Apache Airflow ile bir sunucu siparişi