Gemma-3-27B¶

Bu makalede

• Gemma-3-27B Temel Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Özellikler
• Gemma-3-27B Kurulumundan Sonra Başlangıç
• API Kullanarak Gemma-3-27B ile Sunucu Sipariş Edin

Gemma-3-27B Temel Özellikleri¶

• Yüksek performanslı mimari: Model 27 milyar parametreye sahiptir ve modern teknolojileri kullanarak karmaşık görevleri yüksek doğrulukla yerine getirmek üzere optimize edilmiştir;
• Open Web UI ile entegrasyon: Port 8080 üzerinden modelle kolay etkileşim için modern bir web arayüzü sağlar, veri ve istek işleme üzerinde tam kontrol sağlar;
• Ölçeklenebilirlik: Optimal performans için çoklu kart konfigürasyonlarını ve birden fazla GPU arasında yük dağıtımını destekler;
• Güvenlik ve kontrol: Tam yerel kurulum veri gizliliğini sağlar, OLLAMA_HOST ve OLLAMA_ORIGINS ayarları ise ağ güvenliğini garanti eder;
• Performans: İstek işlemeyi hızlandırmak ve model çalışmasını optimize etmek için LLAMA_FLASH_ATTENTION teknolojisini kullanır;

• Güvenilirlik: Konteynerlar ve servisler için entegre bir otomatik yeniden başlatma sistemi istikrarlı çalışma sağlar.

• Kullanım örnekleri:

  • Müşteri desteği: Kullanıcı sorularına verilen yanıtların otomatize edilmesi;
  • Eğitim: Eğitim materyalleri oluşturma, görevlerin çözümüne yardımcı olma;
  • Pazarlama: Reklam metinleri oluşturma, incelemeleri analiz etme;
  • Yazılım geliştirme: Kod oluşturma ve dokümantasyon hazırlama.

Çalıştırma Özellikleri¶

• Ollama sunucusu LLM'yi belleğe yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak kurulur;
• Kullanıcılar, istek gönderip yanıt alarak Open WebUI web arayüzü üzerinden LLM ile etkileşime girer;
• Tüm hesaplamalar ve veri işleme işlemleri yerel olarak sunucuda gerçekleşir. Yöneticiler, OpenWebUI araçları aracılığıyla LLM'yi belirli görevler için yapılandırabilir.

Sistem Gereksinimleri ve Teknik Özellikler¶

• CUDA desteğine sahip Grafik Hızlandırıcı (seçeneklerden biri, daha iyisi olabilir):

  • 2x NVIDIA A4000 (her biri 16/24 GB video belleği)
  • 2x NVIDIA A5000 (her biri 24 GB video belleği)
  • 1x NVIDIA A6000 (48 GB video belleği)
  • 1x NVIDIA 5090 (32 GB video belleği)

• Disk alanı: Sistem ve model için yeterli boyutta SSD;

• Yazılım: NVIDIA sürücüleri ve CUDA;
• Video belleği tüketimi: 2K token bağlamı ile 28 GB;
• Sistem izleme: Sürücüların ve konteynerların otomatik kontrolleri.

Gemma-3-27B Kurulumundan Sonra Başlangıç¶

Ödeme yapıldıktan sonra, kayıtlı adrese sunucunun çalışmaya hazır olduğunu belirten bir e-posta gönderilecektir. Bu e-posta VPS IP adresinin yanı sıra sunucuya erişim için giriş ve Şifre bilgilerini ve OpenWebUI paneline erişim için bir bağlantı içerecektir. Şirketimizin müşterileri, ekipmanlarını in the server management panel and API — Invapi üzerinden yönetirler.

• Sunucunun işletim sistemine erişim için kimlik doğrulama verileri (örneğin SSH yoluyla), size alınan e-posta ile gönderilecektir.

• Open WebUI web arayüzü ile Ollama kontrol paneline erişim bağlantısı: Invapi kontrol panelinin Configuration* >> **Tags sekmesindeki webpanel etiketinde yer alır. Sunucu hazırlandığında e-postada https://gemma<Server_ID_from_Invapi>.hostkey.in biçimindeki tam bağlantı gönderilir.

webpanel etiketindeki bağlantıya tıkladıktan sonra, chatbot'unuz için bir admin hesap adı, e-posta ve Şifre oluşturmanız gereken bir Get started with Open WebUI giriş penceresi açılacaktır; ardından Create Admin Account düğmesine basın:

API Kullanarak Gemma-3-27B ile Sunucu Sipariş Edin¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.