Gemma-3-27B¶

Bu makalede

• Gemma-3-27B Temel Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Özellikler
• Gemma-3-27B Çalıştırıldıktan Sonra Başlangıç
• API Kullanarak Gemma-3-27B ile Sunucu Sipariş Etme

Gemma-3-27B Temel Özellikleri¶

• Yüksek performanslı mimari: Model 27 milyar parametreye sahiptir ve modern teknolojileri kullanarak karmaşık görevleri yüksek doğrulukla yerine getirmek üzere optimize edilmiştir;
• Open Web UI ile entegrasyon: Port 8080 üzerinden modelle kolay etkileşim için modern bir web arayüzü sağlar, veri ve istek işleme üzerinde tam kontrol sağlar;
• Ölçeklenebilirlik: Optimal performans için çoklu kart konfigürasyonlarını ve birden fazla GPU arasında yük dağılımını destekler;
• Güvenlik ve kontrol: Tam yerel çalıştırma veri gizliliğini sağlar, OLLAMA_HOST ve OLLAMA_ORIGINS ayarları ise ağ güvenliğini garanti eder;
• Performans: İstek işlemeyi hızlandırmak ve model operasyonunu optimize etmek için LLAMA_FLASH_ATTENTION teknolojisini kullanır;

• Güvenilirlik: Konteynerlar ve servisler için entegre bir otomatik yeniden başlatma sistemi istikrarlı çalışma sağlar.

• Kullanım örnekleri:

  • Müşteri desteği: Kullanıcı sorularına verilen yanıtların otomatize edilmesi;
  • Eğitim: Eğitim materyalleri oluşturma, görevlerin çözümüne yardımcı olma;
  • Pazarlama: Reklam metinleri oluşturma, incelemeleri analiz etme;
  • Yazılım geliştirme: Kod oluşturma ve dokümantasyon hazırlama.

Çalıştırma Özellikleri¶

• Kurulum süresi: İşletim sistemi ile birlikte 15-30 dakika;
• Ollama sunucusu, LLM'i belleğe yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak kurulur;
• Kullanıcılar, istek gönderip yanıt alarak Open WebUI web arayüzü üzerinden LLM ile etkileşime girer;
• Tüm hesaplamalar ve veri işleme yerel olarak sunucuda gerçekleşir. Yöneticiler, OpenWebUI araçlarını kullanarak LLM'i belirli görevler için yapılandırabilir.

Sistem Gereksinimleri ve Teknik Özellikler¶

• CUDA desteğine sahip Grafik Hızlandırıcı (seçeneklerden biri, daha iyisi olabilir):

  • 2x NVIDIA A4000 (her biri 16/24 GB video belleği)
  • 2x NVIDIA A5000 (her biri 24 GB video belleği)
  • 1x NVIDIA A6000 (48 GB video belleği)
  • 1x NVIDIA 5090 (32 GB video belleği)

• Disk alanı: Sistem ve model için yeterli boyutta SSD;

• Yazılım: NVIDIA sürücüleri and CUDA;
• Video bellek tüketimi: 2K token bağlamı ile 28 GB;
• Sistem izleme: Sürücülerin ve konteynerların otomatik kontrolleri.

Gemma-3-27B Çalıştırıldıktan Sonra Başlangıç¶

Ödeme yapıldıktan sonra, kayıtlı adrese sunucunun çalışmaya hazır olduğunu belirten bir e-posta gönderilecektir. Bu e-posta VPS IP adresinin yanı sıra sunucuya erişim için giriş ve şifre bilgilerini ve OpenWebUI paneline erişim için bir bağlantı içerecektir. Şirketimizin müşterileri ekipmanlarını sunucu yönetim paneli ve API içinde — Invapi üzerinden yönetirler.

• Sunucunun işletim sistemine erişim için kimlik doğrulama verileri (örneğin SSH üzerinden), size alınan e-posta ile gönderilecektir.

• Open WebUI web arayüzü ile Ollama kontrol paneline erişim bağlantısı: Invapi kontrol panelindeki Configuration* >> **Tags sekmesindeki webpanel etiketinde yer alır. Sunucu hazırlandığında e-postada https://gemma<Server_ID_from_Invapi>.hostkey.in biçimindeki tam bağlantı gönderilir.

webpanel etiketindeki bağlantıya tıkladıktan sonra, chatbot'unuz için bir admin hesap adı, e-posta ve şifre oluşturmanız gereken bir Get started with Open WebUI giriş penceresi açılacaktır; ardından Create Admin Account düğmesine basın:

API Kullanarak Gemma-3-27B ile Sunucu Sipariş Etme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.