Gemma-3-27B¶

Bu makalede

• Gemma-3-27B'nin Ana Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Belgeler
• Gemma-3-27B Dağıtıldıktan Sonra Kullanmaya Başlama
• API Kullanarak Gemma-3-27B ile Sunucu Siparişi Verme

Gemma-3-27B'nin Ana Özellikleri¶

• Yüksek performanslı mimari: Model 27 milyar parametreye sahiptir ve modern teknolojiler kullanarak karmaşık görevlerle yüksek doğrulukla başa çıkmak için optimize edilmiştir;
• Open Web UI ile entegrasyon: 8080 numaralı port üzerinden modelle etkileşimde bulunmak için modern bir web arayüzü sağlar ve verilerin ve isteklerin işlenmesi üzerinde tam kontrol sağlar;
• Ölçeklenebilirlik: Optimum performans için birden fazla GPU'ya yük dağıtımı yaparak çok kartlı yapılandırmaları destekler;
• Güvenlik ve kontrol: Tam yerel dağıtım veri gizliliğini sağlar, OLLAMA_HOST ve OLLAMA_ORIGINS ayarları ağ güvenliğini garanti eder;
• Performans: LLAMA_FLASH_ATTENTION teknolojisi istek işleme hızını artırır ve modelin çalışmasını optimize eder;

• Güvenilirlik: Kapsayıcılar ve hizmetler için entegre bir sistem otomatik yeniden başlatmaları sağlar, böylece stabil çalışma sunar.

• Kullanım örnekleri:

  • Müşteri destek: Kullanıcı sorularına yanıt verme otomasyonu;
  • Eğitim: Eğitim materyalleri oluşturma, görevlerde yardımcı olma;
  • Pazarlama: Reklam metinleri üretme, incelemeleri analiz etme;
  • Yazılım geliştirme: Kodun oluşturulması ve belgelenmesi.

Çalıştırma Özellikleri¶

• Kurulum süresi: OS ile birlikte 15-30 dakika;
• Ollama sunucusu LLM'i bellekte yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı olarak web uygulaması olarak dağıtılır;
• Kullanıcılar, Open WebUI web arayüzü üzerinden LLM ile etkileşimde bulunur, istekler gönderir ve yanıtlar alır;
• Tüm hesaplamalar ve veri işlemleri sunucuda yerel olarak gerçekleştirilir. Yöneticiler OpenWebUI araçları kullanarak LLM'yi belirli görevlere özelleştirebilir.

Sistem Gereksinimleri ve Teknik Belgeler¶

• CUDA desteğiyle Grafik Hızlandırıcı (bir seçenek, daha iyi olabilir):

  • 2x NVIDIA A4000 (her biri 16/24 GB video belleği ile)
  • 2x NVIDIA A5000 (her biri 24 GB video belleği ile)
  • 1x NVIDIA A6000 (48 GB video belleği)
  • 1x NVIDIA 5090 (32 GB video belleği)

• Disk alanı: Sistem ve model için yeterli boyutta SSD;

• Yazılım: NVIDIA sürücüleri ve CUDA;
• Video bellek tüketimi: 2K token bağlamında 28 GB;
• Sistem izleme: Otomatik sürücüler ve kapsayıcılar denetimleri.

Gemma-3-27B Dağıtıldıktan Sonra Kullanmaya Başlama¶

Ödeme yapıldığında, sunucunun çalışmaya hazır olduğunu belirten bir e-posta, kayıtlı adresinize gönderilecektir. Bu e-postada VPS IP adresi, sunucuya erişim için giriş bilgileri ve OpenWebUI paneline erişmek için bağlantı yer alacaktır. Şirketimizin müşterileri sunucu yönetim panosu ve API — Invapi üzerinden ekipmanı yönetir.

• Sunucunun işletim sistemi erişimi için kimlik doğrulama bilgileri (örneğin, SSH kullanarak) size gönderilen e-postada gönderilecektir.

• Ollama kontrol paneline ve Open WebUI web arayüzüne erişim bağlantısı: Invapi kontrol panosunda Info >> Tags sekmesindeki webpanel etiketinde. Sunucu serbest bırakıldığında e-postada https:gemma<Server_ID_from_Invapi>.hostkey.in formundaki kesin bağlantı gönderilecektir.

Etiket webpanel üzerinden bağlantıya tıkladıktan sonra Get started with Open WebUI oturum açma penceresi açılacak, burada chatbot'unuz için bir yönetici hesabı adı, e-posta ve şifre oluşturmanız gerekir, ardından Create Admin Account düğmesine tıklamanız gerekir:

API Kullanarak Gemma-3-27B ile Sunucu Siparişi Verme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.

Bu sayfanın bazı içeriği AI ile oluşturulmuş veya çevrilmiştir. ```