OmniRoute¶
Bu makalede
Bilgi
OmniRoute; uygulamanız ile OpenAI, Anthropic, Google Gemini, Mistral gibi çeşitli Büyük Dil Modeli (LLM) sağlayıcılarının yanı sıra yerel olarak konuşlandırılmış modeller (Ollama, vLLM vb. aracılığıyla) arasında bir ara katman (middleware) görevi gören açık kaynaklı bir yazılım çözümüdür. Temel amacı, geliştiricilere tek bir giriş noktası (genellikle OpenAI API formatıyla tam uyumlu) sağlayarak ve istek yönlendirmesini akıllıca yöneterek birden fazla API ile çalışmanın karmaşıklığını soyutlamaktır.
OmniRoute Temel Özellikleri¶
- Birleşik API: Her yeni sağlayıcı için kodu yeniden yazmanıza gerek yoktur. OmniRoute, istekleri standart bir formatta (örneğin OpenAI uyumlu) kabul eder ve bunları seçilen backend için gereken formata otomatik olarak dönüştürür.
- Akıllı Yönlendirme
- Fallback (Yedekleme): Birincil sağlayıcı (örneğin OpenAI) bir hata döndürürse veya zaman aşımına uğrarsa, proxy, kullanıcı fark etmeden isteği anında ve sorunsuz bir şekilde bir yedek sağlayıcıya (örneğin Anthropic veya yerel bir model) yönlendirir.
- Yük Dengeleme: Tek bir anahtarın hız sınırlarını (rate limits) aşmak için istekleri birden fazla API anahtarı veya hesap arasında dağıtır.
- Maliyet veya Gecikme Tabanlı Yönlendirme: Basit istekler otomatik olarak daha ucuz ve daha hızlı modellere yönlendirilebilirken, karmaşık istekler amiral gemisi modellere gönderilir.
- Gelişmiş Önbelleğe Alma: Hem tam eşleşme hem de anlamsal (semantic) önbelleğe alma desteği sunar. Benzer bir istek daha önce işlenmişse, OmniRoute önbelleğe alınmış yanıtı döndürür; bu da gecikmeyi ve token maliyetlerini büyük ölçüde azaltır.
- Maliyet Yönetimi ve Analitik: Yerleşik gerçek zamanlı izleme: token kullanımı sayımı, istek maliyeti tahmini, yanıt süresi takibi (TTFT — İlk Token İçin Geçen Süre) ve farklı modellerin verimliliğini analiz etmek için paneller.
- Güvenlik ve Erişim Kontrolü: Sağlayıcı API anahtarlarının merkezi olarak saklanması ve döndürülmesi (anahtarlar istemci uygulama kodunda saklanmaz). İstek filtreleme yetenekleri: PII (Kişisel Olarak Tanımlanabilir Bilgiler) maskeleme, prompt injection'a karşı koruma ve farklı kullanıcılar veya ekipler için kullanım sınırları belirleme.
Çalıştırma Özellikleri¶
| ID | Yazılım Adı | Uyumlu OS | VM | BM | VGPU | GPU | Min CPU (Çekirdekler) | Min RAM (GB) | Min HDD/SSD (GB) | Özel Alan Adı | Aktif |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 654 | OmniRoute | Ubuntu 24.04 | + | + | + | + | 1 | 2 | 20 | Hayır | SİPARİŞ VER |
Not
Aksi belirtilmedikçe, yazılımın en son sürümünü varsayılan olarak geliştiricinin web sitesinden veya işletim sistemi depolarından kuruyoruz.
OmniRoute Kurulumundan Sonra Başlangıç¶
Ödeme yapıldıktan sonra, sunucunun hazır olduğuna dair bir bildirim, kayıt sırasında verilen e-posta adresine gönderilecektir. Bu bildirim, VPS IP adresinin yanı sıra bağlantı için kullanıcı adı ve şifreyi içerecektir. Müşteriler donanımlarını sunucu ve API kontrol panelinden — Invapi — yönetebilirler.
Yetkilendirme verileri, sunucu kontrol panelindeki Info >> Tags sekmesinde veya gönderilen e-postada bulunabilir:
- Web Arayüzü Kontrol Paneli Bağlantısı: webpanel etiketinde;
- Şifre: yönetici için - sunucu teslim edildiğinde e-posta ile gönderilir;
Bağlantı ve İlk Kurulum¶
webpanel etiketindeki bağlantıya tıkladıktan sonra giriş penceresi açılacaktır.
Şifreyi girdikten sonra OmniRoute ana yönetim ekranına yönlendirileceksiniz.
Bilgi
Lütfen uygulamaya ilk girişinizden sonra yönetici şifresini değiştirmeniz gerektiğini unutmayın. Ana ekranda bir uyarı ve değişiklik için talimatlar görüntülenecektir.
Artık OmniRoute ile çalışmaya başlayabilirsiniz.
Not
Ana OmniRoute ayarları hakkında ayrıntılı bilgiye geliştirici dokümantasyonundan ulaşılabilir.
API Aracılığıyla OmniRoute Sunucusu Sipariş Etme¶
Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.