gpt-oss-20b¶

Bu makalede

• gpt-oss-20b'nin Temel Özellikleri
• Çalıştırma Özellikleri
• gpt-oss-20b Dağıtıldıktan Sonra Başlarken
• API Kullanarak gpt-oss-20b ile Sunucu Siparişi Verme

gpt-oss-20b'nin Temel Özellikleri¶

• Optimize edilmiş mimari: gpt-oss-20b modelinin toplam 20 milyar parametresi vardır ve bunlardan yalnızca 3.6 milyarı etkinleştirilir, bu da kaynakları verimli bir şekilde kullanarak yüksek performans sağlar.
• Genişletilmiş ajan yetenekleri: Model içine fonksiyon çağrısı yapma, web sayfalarını görüntüleme, Python kodu çalıştırma ve yapılandırılmış çıkışlar oluşturma gibi özellikler dahildir. Görevleri çözmeye ve araçları çağırmaya uzmanlaşmıştır.
• Düzeltilebilir yoğunluk seviyeleri ile akıl yürütme: Fonksiyonel olarak, model zincir-düşünce akıl yürütme gibi yöntemleri destekleyen güvenilir bir görev çözücüdür. Üç özelleştirilebilir yoğunluk seviyesi sunar.
• Performans ve uyumluluk: gpt-oss-20b modeli, yaygın benchmark'larda OpenAI'nin o3-mini modeline benzer sonuçlar göstermektedir. Optimize edilmiş olması sayesinde, 16 GB bellekli kenar cihazlarda çalıştırılabilir.
• Çok dilli destek: Model çok dilli özelliklere sahiptir. En iyi sonuçlar için etkileşimin hedef dilini ve kültürel bağlamını açıkça belirtmek tavsiye edilir.
• Veri kuantizasyonu: MXFP4 formatı desteği, modelin kaynak kısıtlamalı donanımda verimli bir şekilde çalışmasını sağlar ve genel sistem performansını artırır.

Çalıştırma Özellikleri¶

Sürümün teknik özellikleri:

• 6 sürümüne güncellenmiş Ubuntu 22.04;
• En son Nvidia sürücüler;
• CUDA Toolkit;
• Modelleri yönetmek için Ollama;
• Web arayüzü için OpenWebUI.

Kurulum özellikleri:

• Kurulum süresi, işletim sistemi kurulumunu içererek 25-45 dakika sürer;
• Ollama sunucusu gpt-oss-20b modelini GPU/RAM belleğinde yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı olarak bir web uygulaması olarak dağıtılır;
• Kullanıcılar, programlama ve ajan görevleri için Open WebUI web arayüzü üzerinden modelle etkileşime girer;
• Tüm hesaplamalar ve kod işleme sunucuda yerel olarak gerçekleştirilir;
• Yöneticiler, geliştirme görevleri için modeli OpenWebUI araçları kullanarak özelleştirebilir;
• Bellek kullanımını optimize etmek için çeşitli kuantizasyon seviyelerine destek sağlanır.

gpt-oss-20b Dağıtıldıktan Sonra Başlarken¶

Ödeme sonrasında, sipariş sırasında kayıtlı e-posta adresine sunucu hazır olduğunu bildiren bir bildirim gönderilecektir. Bu bildiriye sunucunun IP adresi, erişim için kullanıcı adı ve Şifre dahil olmak üzere bilgiler yer alacaktır, ayrıca OpenWebUI kontrol paneline giden bağlantı da bulunmaktadır. Müşteriler ekipmanını Sunucu Yönetim Paneli ve API — Invapi aracılığıyla yönetir.

• OS sunucusuna erişim için kimlik bilgileri (örneğin, SSH üzerinden), aldığınız e-postada gönderilecektir.
• Ollama kontrol paneline ve Open WebUI web arayüzüne giden bağlantı: Invapi'nin Info >> Tags sekmesindeki webpanel etiketinde. E-postada sunucu teslimatının bir parçası olarak, örneğin https://gpt-oss<Server_ID_from_Invapi>.hostkey.in şeklinde tam bağlantı sağlanmış olacaktır.

Etiket webpanel üzerinden bağlantıya tıkladıktan sonra Get started with Open WebUI oturum açma penceresi açılacak, burada chatbot'unuz için bir yönetici hesabı adı, e-posta ve şifre oluşturmanız gerekir, ardından Create Admin Account düğmesine tıklamanız gerekir:

Başarılı kaydolduktan sonra, Gpt-oss-20b'ye erişim sağlayan ana Open WebUI arayüzü açılacaktır:

API Kullanarak gpt-oss-20b ile Sunucu Siparişi Verme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.

Bu sayfanın bazı içeriği AI ile oluşturulmuş veya çevrilmiştir.