gpt-oss-120b¶

Bu makalede

• gpt-oss-120b'nin Ana Özellikleri
• Çalıştırma Özellikleri
• gpt-oss-120b Dağıtıldıktan Sonra Başlangıç
• API Kullanarak gpt-oss-120b ile Sunucu Siparişi

gpt-oss-120b'nin Ana Özellikleri¶

• Koşullu aktivasyona sahip ölçeklenebilir mimari: Model 120 milyar parametre içerse de, seyrek aktivasyon (sparse activation) mekanizması sayesinde her istekte yalnızca yaklaşık 21 milyar parametre aktif hale gelir. Bu durum, kaliteden ödün vermeden bellek ve hesaplama kaynakları gereksinimlerini önemli ölçüde azaltır.
• Gelişmiş ajan yetenekleri: gpt-oss-120b, kod yürütme, gerçek zamanlı web araması, API çağrıları ve sıkı yapılandırılmış çıktılar (JSON, XML vb.) oluşturma dahil geniş bir araç setini destekler. Bu özellik, otonom ajanlar ve karmaşık otomasyon sistemleri için ideal bir temel sunar.
• Uyarlanabilir akıl yürütme: Model, hızlı doğrudan yanıtlardan çok adımlı düşünce zincirlerine (chain-of-thought) ve karar ağaçlarına kadar esnek bir akıl yürütme seviyesi sistemi uygular. Kullanıcılar, görevin karmaşıklığına bağlı olarak "düşünme derinliğini" kontrol edebilir.
• Referans testlerinde yüksek performans: gpt-oss-120b, özellikle mantık, matematik, programlama ve disiplinler arası bilgi sentezi gerektiren görevlerde o3 ve o4 seviyesindeki kapalı kaynaklı modellerle karşılaştırılabilir sonuçlar göstermektedir.
• Kapsamlı çok dilli destek: Model, 50'den fazla dildeki verilerle eğitilmiş olup çok dilli ve çok kültürlü bağlamlarda etkili bir şekilde çalışabilir. En iyi sonuçlar için, istem (prompt) içinde dil ve kültürel çerçevelerin açıkça belirtilmesi önerilir.
• Verimli kuantizasyon ve uyumluluk: MXFP4 ve INT4 formatları desteği, kalitede önemli bir kayıp olmadan bellek kullanımını azaltmaya ve çıktı hızını artırmaya olanak tanır. Model, vLLM, GGUF ve Hugging Face Transformers gibi popüler çerçevelerle uyumludur.

Çalıştırma Özellikleri¶

Kurulumun teknik özellikleri:

• Çekirdeği 6. sürüme güncellenmiş Ubuntu 22.04;
• En son Nvidia sürücüleri;
• CUDA Toolkit;
• Modelleri yönetmek için Ollama;
• Web arayüzü için OpenWebUI.

Kurulum özellikleri:

• Kurulum süresi, işletim sistemi ayarlarını da içeren toplamda 35-45 dakikadır;
• Ollama sunucusu, gpt-oss-120b modelini GPU/RAM belleğinde yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak dağıtılır;
• Kullanıcılar, modelle programlama ve ajan görevleri için Open WebUI web arayüzü üzerinden etkileşimde bulunur;
• Tüm hesaplamalar ve kod işlemleri sunucuda yerel olarak gerçekleşir;
• Yöneticiler, OpenWebUI araçlarını kullanarak modeli belirli geliştirme görevleri için yapılandırabilir;
• Bellek kullanımını optimize etmek için çeşitli kuantizasyon seviyeleri desteklenir.

gpt-oss-120b Dağıtıldıktan Sonra Başlangıç¶

Ödeme yapıldıktan sonra, sunucunun hazır olduğuna dair bildirim, sipariş sırasında kaydedilen e-posta adresine gönderilecektir. Bu bildirimde VPS IP adresi, sunucuya erişim için kullanıcı adı ve Şifre ile OpenWebUI kontrol paneline bağlantı yer alacaktır. Müşteriler, ekipmanları Sunucu Yönetim Paneli ve API — Invapi üzerinden yönetir.

• İşletim sistemi sunucusuna erişim için kimlik bilgileri (örneğin SSH üzerinden) alınan e-postada gönderilecektir.
• Open WebUI web arayüzüne sahip Ollama kontrol paneli bağlantısı: Invapi kontrol panelinin Configuration >> Tags sekmesindeki webpanel etiketinde bulunur. Tam bağlantı, örneğin https://gpt-oss<Invapi'den_Sunucu_ID>.hostkey.in, sunucu teslim edildiğinde gönderilen e-postada sağlanır.

webpanel etiket bağlantısına ilk ziyaretinizde bir karşılama sayfası açılacaktır. Kurulumu başlatmak için Get started düğmesine tıklayın.

webpanel etiketinden bağlantıya tıkladıktan sonra, sohbet botunuz için bir yönetici hesap adı, e-posta ve Şifre oluşturmanız gereken Get started with Open WebUI giriş penceresi açılır, ardından Create Admin Account düğmesine basın:

Başarılı kayıt işleminden sonra, gpt-oss-120b'ye erişim sağlayan ana Open WebUI arayüzü açılacaktır:

API Kullanarak gpt-oss-120b ile Sunucu Siparişi¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.