gpt-oss-20b¶
Bu makalede
Bilgi
gpt-oss-20b, OpenAI tarafından geliştirilen, yerel dağıtımlarda veya özel kullanım senaryolarında düşük gecikme süresi ile verimli çalışmak üzere tasarlanmış orta ölçekli açık ağırlıklı bir modeldir. Modelin 20 milyar parametresi bulunur ve bunlardan 3.6 milyarı aktif olarak çalışır; bu sayede 16 GB belleğe sahip cihazlar gibi kaynak kısıtlı donanımlarda çalıştırılabilir. Tüketici sınıfı donanımlar dahil olmak üzere yerel olarak dağıtılabilir.
gpt-oss-20b'nin Ana Özellikleri¶
- Optimize edilmiş mimari: gpt-oss-20b modeli toplam 20 milyar parametreye sahiptir ve yalnızca 3.6 milyarını aktif hale getirir; bu da kaynakları verimli kullanırken yüksek performans sağlar.
- Genişletilmiş ajan yetenekleri: Model, fonksiyon çağırma, web sayfası görüntüleme, Python kodu yürütme ve yapılandırılmış çıktılar oluşturma gibi yerleşik yeteneklere sahiptir. Görevleri çözme ve araçları çağırma konusunda üstündür.
- Ayarlanabilir yoğunluk seviyeleriyle akıl yürütme: Model işlevsel olarak zincirleme düşünme (chain-of-thought) gibi yöntemleri destekleyen güvenilir bir görev çözücüdür. Üç farklı özelleştirilebilir akıl yürütme yoğunluk seviyesi sunar.
- Performans ve uyumluluk: gpt-oss-20b modeli, yaygın testlerde OpenAI o3-mini ile karşılaştırılabilir sonuçlar gösterir. Optimizasyon sayesinde 16 GB belleğe sahip uç cihazlarda çalışabilir.
- Çok dilli destek: Model çok dilli işlevsellik sunar. Optimal sonuçlar için etkileşimde hedef dil ve kültürel bağlamın açıkça belirtilmesi önerilir.
- Veri kuantizasyonu: MXFP4 formatı desteği, modelin kaynak kısıtlı donanımlarda verimli çalışmasını sağlar ve genel sistem performansını artırır.
Çalıştırma Özellikleri¶
| ID | Uyumlulu OS | VM | BM | VGPU | GPU | Min CPU (Çekirdek) | Min RAM (Gb) | Min HDD/SDD (Gb) | Sipariş |
|---|---|---|---|---|---|---|---|---|---|
| 345 | Ubuntu 22.04 GPU | - | - | + | + | 8 | 60 | 15 | ORDER |
Kurulumun teknik özellikleri:
- Çekirdeği 6. sürüme güncellenmiş Ubuntu 22.04;
- En son Nvidia sürücüleri;
- CUDA Toolkit;
- Modelleri yönetmek için Ollama;
- Web arayüzü için OpenWebUI.
Kurulum özellikleri:
- Kurulum süresi, işletim sistemi kurulumu dahil 25-45 dakikadır;
- Ollama sunucusu, gpt-oss-20b modelini GPU/RAM belleğinde yükler ve çalıştırır;
- Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak dağıtılır;
- Kullanıcılar, modelle programlama ve ajan görevleri için Open WebUI web arayüzü üzerinden etkileşimde bulunur;
- Tüm hesaplamalar ve kod işlemleri sunucuda yerel olarak gerçekleşir;
- Yöneticiler, OpenWebUI araçlarını kullanarak modeli belirli geliştirme görevleri için yapılandırabilir;
- Bellek kullanımını optimize etmek için çeşitli kuantizasyon seviyeleri desteklenir.
gpt-oss-20b Dağıtıldıktan Sonra Başlangıç¶
Ödeme yapıldıktan sonra, sunucunun hazır olduğuna dair bildirim, sipariş sırasında kaydedilen e-posta adresine gönderilecektir. Bu bildirimde VPS IP adresi, sunucuya erişim için kullanıcı adı ve şifre ile OpenWebUI kontrol paneline bağlantı yer alacaktır. Müşteriler, ekipmanları Sunucu Yönetim Paneli ve API — Invapi üzerinden yönetir.
- İşletim sistemi sunucusuna erişim için kimlik bilgileri (örneğin SSH üzerinden) alınan e-postada gönderilecektir.
- Open WebUI web arayüzüne sahip Ollama kontrol paneli bağlantısı: Invapi kontrol panelinin Configuration >> Tags sekmesindeki webpanel etiketinde bulunur. Tam bağlantı, örneğin
https://gpt-oss<Invapi'den_Sunucu_ID>.hostkey.in, sunucu teslim edildiğinde gönderilen e-postada sağlanır.
webpanel etiket bağlantısına ilk ziyarette karşılama sayfası açılacaktır. Kurulumu başlatmak için Get started düğmesine tıklayın.
webpanel etiketinden bağlantıya tıkladıktan sonra, sohbet botunuz için bir yönetici hesap adı, e-posta ve şifre oluşturmanız gereken Get started with Open WebUI giriş penceresi açılır; ardından Create Admin Account düğmesine basın:
Dikkat
İlk kullanıcı kaydedildikten sonra, sistemin kendiliğinden ona yönetici rolü atar. Güvenliği ve kayıt süreci üzerindeki kontrolü sağlamak için, sonraki tüm kayıt talepleri OpenWebUI'da yönetici hesabından onaylanmalıdır.
Başarılı kayıt işleminden sonra, Gpt-oss-20b'ye erişim sağlayan ana Open WebUI arayüzü açılacaktır:
Not
Open WebUI web arayüzüne sahip Ollama kontrol panelinin kullanımı hakkında detaylı bilgi, Kendi Sunucunuzda AI Sohbet Botu makalesinde bulunabilir.
Not
gpt-oss-20b modeli ile optimal çalışma için, 20B model için en az 16 GB video belleğe sahip bir GPU kullanılması önerilir. Uzun kod bağlamlarının ve karmaşık ajan görevlerinin verimli işlenmesi için 24 GB video belleğe sahip GPU'lar kullanmanızı öneririz. Ana Ollama ayarları ve Open WebUI hakkında detaylı bilgi Ollama geliştirici dokümantasyonunda ve Open WebUI geliştirici dokümantasyonunda bulunabilir.
Kullanım Önerileri
gpt-oss 20B modelinin verimliliğini maksimize etmek için şunlar önerilir:
- Modeli, zincirleme düşünme işleme dahil olmak üzere akıl yürütme görevleri için kullanın. Model, düşük, orta ve yüksek olmak üzere ayarlanabilir akıl yürütme seviyelerini destekler; bunlar bir sistem istemi (prompt) aracılığıyla yapılandırılır.
- Modelin fonksiyon çağırma, Python kodu yürütme ve yapılandırılmış çıktılar gibi yerleşik ajan yeteneklerinden yararlanın.
- Modelin ajan yeteneklerinden faydalanarak çok aşamalı geliştirme görevleri için modelden yararlanın.
- Modeli, ayarlamayı desteklediği ve OpenAI Harmony yanıt formatında çalıştığı göz önünde bulundurularak mevcut geliştirme araçlarıyla API aracılığıyla entegre edin. Model, yerel dahil olmak üzere düşük gecikme süresi ile verimli dağıtım için tasarlanmıştır.
API Kullanarak gpt-oss-20b ile Sunucu Siparişi¶
Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.