Ana içeriğe geç

Apache Airflow

Bu makalede

Bilgi

Apache Airflow; veri hattı (data pipeline) görevlerini geliştirmek, zamanlamak ve izlemek için güçlü ve esnek bir platformdur. Veri toplama, dönüştürme ve çeşitli kaynaklardan yükleme için betikler çalıştırma, e-posta kampanyaları zamanlama, testleri otomatize etme ve daha fazlası gibi çok çeşitli uygulamalarda kullanılabilir.

Apache Airflow Özellikleri

  • Airflow, iş akışlarını tanımlamak için Python kullanır; bu da onları şeffaf, kolayca özelleştirilebilir ve yeniden üretilebilir kılar;
  • Açık API'si ve geniş operatör yelpazesi sayesinde Airflow, sayısız teknoloji ve araçla entegre olabilir;
  • Airflow web arayüzü, iş akışı durumuna dair etkileşimli bir genel bakış sunarak görev yürütülmesini izlemenize ve bunları kolayca yönetmenize olanak tanır;
  • Airflow'un yerleşik zamanlayıcısı (scheduler), görevlerin belirli bir zamanda veya tanımlanmış bir periyotta (örneğin her saat, her gün) başlatılmasını sağlar;
  • Airflow, görevler arasındaki bağımlılıkları otomatik olarak yöneterek işlerin doğru sırayla yapılmasını sağlar;
  • Airflow, büyük görevlerin daha küçük, yönetilebilir modüllere bölünmesine izin vererek geliştirme ve hata ayıklama süreçlerini basitleştirir;
  • Paralel görev yürütme ve dağıtık hesaplama desteği, büyük veri hacimlerinin işlenmesini hızlandırır;
  • Airflow, başarısız olan görevleri otomatik olarak yeniden başlatarak iş akışı kararlılığını garanti eder;
  • Airflow, rutin görevleri otomatize ederek geliştiricilerin zamanını daha önemli görevlere ayırmasını sağlar.

Çalıştırma Özellikleri

ID Yazılım Adı Uyumlu OS VM BM VGPU GPU Min CPU (Çekirdekler) Min RAM (GB) Min HDD/SSD (GB) Özel Alan Adı Aktif
201 Apache Airflow Ubuntu 24.04 + + + + 4 4 60 Hayır SİPARİŞ VER

Not

Aksi belirtilmedikçe, varsayılan olarak yazılımın geliştiricisinin web sitesinden veya işletim sistemi depolarından en son sürümünü kuruyoruz.

Apache Airflow Kurulumu Sonrası Başlangıç

Sipariş ödemesi yapıldıktan sonra, kayıt sırasında belirtilen e-posta adresine sunucunun hazır olduğunu belirten bir bildirim alacaksınız. Bu bildirim, VPS IP adresini ve bağlantı için giriş bilgilerini içerecektir. Şirketimizin müşterileri, ekipmanlarını sunucu kontrol paneli ve API — Invapi üzerinden yönetirler.

Sunucu yönetim panelindeki Configuration >> Tags sekisinde veya sunucu hazır olduğunda gönderilen e-postada bulunabilecek kimlik doğrulama verileri:

  • Apache Airflow web arayüzü kontrol paneline erişim bağlantısı: webpanel etiketinde yer alır;
  • Kullanıcı adı: admin;
  • Şifre: Sunucu kullanıma hazır olduğunda e-posta ile gönderilir.

Kimlik Doğrulama

Aşağıdaki parametreler Admin kullanıcısı için varsayılan olarak ayarlanmıştır:

Komut satırı arayüzüne airflow komutu ile erişilebilir.

Debian 12'de, şu komutla aktifleştirilebilen bir sanal ortam kullanılır:

source /root/.local/pipx/venvs/apache-airflow/bin/activate

Bundan sonra CLI, airflow komutu ile erişilebilir olacaktır.

Not

Apache Airflow'un ana ayarları hakkında ayrıntılı bilgi, geliştirici dokümantasyonunda bulunabilir.

API Kullanarak Apache Airflow Sunucusu Sipariş Etme

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.