LiteLLM¶

Bu makalede

• LiteLLM. Temel Özellikler
• Çalıştırma Özellikleri
• LiteLLM Kurulumundan Sonra Başlangıç
• Bağlantı ve İlk Kurulum
• API Aracılığıyla LiteLLM Sunucusu Sipariş Etme

LiteLLM. Temel Özellikler¶

• Birleşik API (OpenAI Uyumluluğu). Uygulama mantığınızı yeniden yazmanıza gerek kalmadan, gpt-4o'dan claude-3-5-sonnet'e veya yerel bir llama-3'e geçmek için tek bir satırı ( model parametresi) değiştirmeniz yeterlidir.
• Geniş Sağlayıcı Ekosistemi. Kutudan çıktığı haliyle 100'den fazla sağlayıcıyı destekler: OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq ve diğerleri.
• Maliyet ve Bütçe Yönetimi (Maliyet Takibi). Her bir isteğin dolar (veya token) cinsinden maliyetinin yerleşik, hassas hesaplaması. Beklenmedik faturalardan kaçınmak için bireysel kullanıcılar, API anahtarları veya ekipler için katı harcama limitleri (bütçeler) belirleyebilirsiniz.
• Hata Toleransı (Yedekleme ve Yeniden Deneme). Birincil API kullanılamıyorsa, hata döndürüyorsa veya hız sınırına (rate limit) takılıyorsa, LiteLLM kullanıcının fark etmesine gerek kalmadan otomatik olarak yeniden deneme yapabilir veya sorunsuz bir şekilde bir yedek modele veya farklı bir sağlayıcıya geçebilir.
• Yük Dengeleme. Hız sınırlarını etkili bir şekilde aşmak için istekleri aynı sağlayıcıdan gelen birden fazla API anahtarı arasında veya aynı modelin farklı dağıtımları arasında dağıtmanıza olanak tanır.
• Gözlemlenebilirlik ve Günlükleme. Gecikme, hatalar ve maliyetleri gerçek zamanlı olarak izlemek için popüler izleme ve hata ayıklama araçlarıyla (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone) sorunsuz entegrasyon.
• Asenkron Yapı ve Akış (Streaming). Tüm desteklenen sağlayıcılar için asenkron çağrılar (asyncio) ve yanıt akışı için tam destek; bu, hızlı ve duyarlı sohbet arayüzleri oluşturmak için kritik öneme sahiptir.

Çalıştırma Özellikleri¶

LiteLLM Kurulumundan Sonra Başlangıç¶

Ödemeden sonra, sunucunun hazır olduğuna dair bir bildirim, kayıt sırasında sağlanan e-posta adresine gönderilecektir. Bu bildirim, VPS IP adresinin yanı sıra bağlantı için kullanıcı adı ve şifreyi içerecektir. Müşteriler donanımlarını sunucu ve API kontrol panelinden — Invapi — yönetebilirler.

Yetkilendirme verileri, sunucu kontrol panelindeki Config >> Tags sekmesinde veya gönderilen e-postada bulunabilir:

• Web arayüzü kontrol paneli bağlantısı: webpanel etiketi içindedir;
• Login: admin;
• Password: yönetici için - sunucu teslim edildiğinde e-posta adresinize e-posta ile gönderilir;

Bağlantı ve İlk Kurulum¶

webpanel etiketindeki bağlantıya tıkladıktan sonra giriş penceresi açılacaktır.

Kullanıcı adınızı ve şifrenizi girdikten sonra LiteLLM ana yönetim ekranına yönlendirileceksiniz.

Artık LiteLLM ile çalışmaya başlayabilirsiniz. Ek kullanıcı eklemenin yalnızca e-posta gönderim servisi yapılandırıldıktan sonra available olduğunu lütfen unutmayın.

API Aracılığıyla LiteLLM Sunucusu Sipariş Etme¶

Bu yazılımı API kullanarak yüklemek için bu talimatları izleyin.