gpt-oss-120b¶

Bu makalede

• gpt-oss-120b'nin Ana Özellikleri
• Çalıştırma Özellikleri
• gpt-oss-120b Dağıtıldıktan Sonra Başlarken
• API Kullanarak gpt-oss-120b ile Sunucu Siparişi Verme

gpt-oss-120b'nin Ana Özellikleri¶

• Koşullu Aktivasyonla Ölçeklenebilir Mimari: Modelde 120 milyar parametre bulunmakla birlikte, sparsel aktivasyon (sparse activation) mekanizması sayesinde her istekte yaklaşık 21 milyar parametreyi aktive eder. Bu, bellek ve hesaplama kaynaklarının önemli ölçüde azalmasına neden olurken kaliteyi etkilemeden.
• Gelişmiş Ajan Yetenekleri: gpt-oss-120b, kod çalıştırma, gerçek zamanlı web arama, API çağrısı ve JSON, XML gibi sıkı yapılandırılmış çıktıların (strictly structured outputs) oluşturulmasını içeren geniş bir araç setini destekler. Bu onu özgür ajanlar ve karmaşık otomatik sistemler için mükemmel bir temel haline getirir.
• Uyarlanabilir Mantıksal Düşünme: Model, hızlı doğrudan yanıtlardan çok adımlı düşünce zincirlerine (chain-of-thought) ve karar ağaçlarına kadar esnek bir mantık seviyeleri sistemi uygular. Kullanıcılar, görevin karmaşıklığına bağlı olarak "düşünce derinliği"ni kontrol edebilirler.
• Benchmarks Üzerinde Yüksek Performans: gpt-oss-120b, mantık, matematik, programlama ve disiplinler arası bilgi sentezi gerektiren görevlerde o3 ve o4 seviyelerindeki özel modellerle karşılaştırılabilir sonuçlar sergiler.
• Kapsamlı Çokdillilik Desteği: Model, 50'den fazla dildeki veri üzerinde eğitilmiştir ve çok dilli ve kültürel bağlamlarda etkili bir şekilde çalışabilir. En iyi sonuçlar için, dile ve kültürel çerçeveleri talimatta açıkça belirtmek önerilir.
• Verimli Quantization ve Uyumluluk: MXFP4 ve INT4 formatlarına destek sağlamak, bellek kullanımını önemli ölçüde azaltır ve kalite kaybı olmadan çıkış hızını artırır. Model, vLLM, GGUF ve Hugging Face Transformers gibi popüler çerçevelerle uyumludur.

Çalıştırma Özellikleri¶

Sürümün teknik özellikleri:

• 6 sürümüne güncellenmiş Ubuntu 22.04;
• En son Nvidia sürücüler;
• CUDA Toolkit;
• Modelleri yönetmek için Ollama;
• Web arayüzü için OpenWebUI.

Kurulum özellikleri:

• Kurulum süresi, işletim sistemi kurulumunu içererek 35-45 dakika sürer;
• Ollama sunucusu gpt-oss-120b modelini GPU/RAM belleğinde yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı olarak bir web uygulaması olarak dağıtılır;
• Kullanıcılar, programlama ve ajan görevleri için Open WebUI web arayüzü üzerinden modelle etkileşime girer;
• Tüm hesaplamalar ve kod işleme sunucuda yerel olarak gerçekleştirilir;
• Yöneticiler, geliştirme görevleri için modeli OpenWebUI araçları kullanarak özelleştirebilir;
• Bellek kullanımını optimize etmek için çeşitli kuantizasyon seviyelerine destek sağlanır.

gpt-oss-120b Dağıtıldıktan Sonra Başlarken¶

Ödeme sonrasında, sipariş sırasında kayıtlı e-posta adresine sunucu hazır olduğunu bildiren bir bildirim gönderilecektir. Bu bildiriye sunucunun IP adresi, erişim için kullanıcı adı ve Şifre dahil olmak üzere bilgiler yer alacaktır, ayrıca OpenWebUI kontrol paneline giden bağlantı da bulunmaktadır. Müşteriler ekipmanını Sunucu Yönetim Paneli ve API — Invapi aracılığıyla yönetir.

• OS sunucusuna erişim için kimlik bilgileri (örneğin, SSH üzerinden), aldığınız e-postada gönderilecektir.
• Ollama kontrol paneline ve Open WebUI web arayüzüne giden bağlantı: Invapi'nin Info >> Tags sekmesindeki webpanel etiketinde. E-postada sunucu teslimatının bir parçası olarak, örneğin https://gpt-oss<Server_ID_from_Invapi>.hostkey.in şeklinde tam bağlantı sağlanmış olacaktır.

Etiket webpanel üzerinden bağlantıya tıkladıktan sonra Get started with Open WebUI oturum açma penceresi açılacak, burada chatbot'unuz için bir yönetici hesabı adı, e-posta ve şifre oluşturmanız gerekir, ardından Create Admin Account düğmesine tıklamanız gerekir:

Başarılı kaydolduktan sonra, Gpt-oss-20b'ye erişim sağlayan ana Open WebUI arayüzü açılacaktır:

API Kullanarak gpt-oss-120b ile Sunucu Siparişi Verme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.

Bu sayfanın bazı içeriği AI ile oluşturulmuş veya çevrilmiştir.