Ana içeriğe geç

Apache Airflow

Bu makalede

Bilgi

Apache Airflow, veri hattı görevlerini geliştirmek, zamanlamak ve izlemek için güçlü ve esnek bir platformdur. Veri toplama, dönüştürme ve çeşitli kaynaklardan yükleme betikleri başlatmak, e-posta kampanyalarını zamanlamak, testleri otomatikleştirmek ve daha fazlası gibi geniş bir uygulama yelpazesinde kullanılabilir.

Apache Airflow Özellikleri

  • Airflow, iş akışlarını tanımlamak için Python kullanır; bu da iş akışlarını şeffaf, kolayca özelleştirilebilir ve tekrarlanabilir hale getirir;
  • Açık API'si ve geniş bir operatör yelpazesi sayesinde Airflow, sayısız teknoloji ve araçla entegre olabilir;
  • Airflow web arayüzü, iş akışı durumlarının etkileşimli bir genel bakışını sağlayarak görev yürütmesini izlemenize ve bunları kolayca yönetmenize olanak tanır;
  • Airflow'un yerleşik zamanlayıcısı, görevlerin belirli bir zamanda veya tanımlanmış bir periyotla (örneğin, her saat, her gün) başlatılmasını sağlar;
  • Airflow, görevler arasındaki bağımlılıkları otomatik olarak yöneterek işlerin doğru sırada gerçekleştirilmesini sağlar;
  • Airflow, büyük görevlerin daha küçük, yönetilebilir modüllere bölünmesine olanak tanıyarak geliştirmeyi ve hata ayıklamayı kolaylaştırır;
  • Paralel görev yürütme ve dağıtılmış hesaplama desteği, büyük veri hacimlerinin işlenmesini hızlandırır;
  • Airflow, başarısız olan görevleri otomatik olarak yeniden başlatarak iş akışı kararlılığını garanti eder;
  • Airflow, rutin görevleri otomatikleştirerek geliştiricilerin zamanını daha önemli görevler için serbest bırakır.

Dağıtım Özellikleri

ID Yazılım Adı Uyumlu OS VM BM VGPU GPU Min CPU (Çekirdekler) Min RAM (GB) Min HDD/SSD (GB) Özel Alan Adı Aktif
201 Apache Airflow Ubuntu 22.04 + + + + 4 4 60 Hayır SİPARİŞ VER

Not

Aksi belirtilmedikçe, geliştiricinin web sitesinden veya işletim sistemi depolarından yazılımın en sağlam sürümünü varsayılan olarak kurarız.

Apache Airflow'un Dağıtılmasından Sonra Başlangıç

Sipariş için ödeme yaptıktan sonra, kayıt sırasında belirtilen e-posta adresine sunucunun hazır olduğunu belirten bir bildirim alacaksınız. Bu bildirim, bağlantı için VPS IP adresini ve giriş bilgilerini içerecektir. Şirketimizin müşterileri, donanımı sunucu kontrol paneli ve API — Invapi üzerinden yönetmektedir.

Sunucu yönetim panelinin Configuration >> Tags sekmesinde veya sunucu hazır olduğunda gönderilen e-postada bulunan kimlik doğrulama verileri:

  • Apache Airflow web arayüzü kontrol paneline erişim bağlantısı: webpanel etiketinde;
  • Login: admin;
  • Password: Sunucu kullanıma hazır olduktan sonra e-posta ile gönderilir.

Kimlik Doğrulama

Admin kullanıcısı için varsayılan olarak aşağıdaki parametreler ayarlanmıştır:

Komut satırı arayüzü, airflow komutu aracılığıyla erişilebilir.

Debian 12'de sanal ortam kullanılır ve aşağıdaki komutla etkinleştirilebilir:

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Bundan sonra, CLI ayrıca airflow komutu aracılığıyla erişilebilir hale gelecektir.

Not

Apache Airflow'un temel ayarları hakkında ayrıntılı bilgi, geliştiricilerin dokümantasyonunda bulunabilir.

API kullanarak Apache Airflow ile bir sunucu siparişi

Bu talimatları izleyerek API kullanarak bu yazılımı kurabilirsiniz.