Skip to content

Gemma-3-27B

Bu makalede

Bilgi

Gemma-3-27B, Ollama platformu üzerinden yerel dağıtım için önemli hesaplama kaynaklarına ihtiyaç duyan güçlü bir dil modelidir. Bu model, özellikle GPU video belleği açısından artan donanım gereksinimlerine sahiptir. Modern NVIDIA grafik hızlandırıcılardan yararlanarak Ubuntu 22.04 üzerinde çalıştırılır. Open Web UI ile entegrasyonu, modele etkileşim kurmak için kullanışlı bir arayüz sağlar ve veriler üzerinde tam kontrol ve talep işlemeyi sağlar.

Gemma-3-27B'nin Temel Özellikleri

  • Yüksek Performanslı Mimari: Model 27 milyar parametreye sahiptir ve karmaşık görevleri yüksek doğrulukla ele almak için gelişmiş teknolojiler kullanarak optimize edilmiştir;
  • Open Web UI Entegrasyonu: Port 8080 üzerinden erişilebilen modern bir web arayüzü sağlar. Bu, veriler üzerinde tam kontrol sağlamak ve talep işlemeyi yapılandırmak için olanak tanır.
  • Ölçeklenebilirlik: Mükemmel performans için optimum dağıtımı destekleyen çoklu kart konfigürasyonlarını ve yük dengeleme yeteneğine sahiptir.
  • Güvenlik ve Kontrol: Yerel dağıtım, veri gizliliğini sağlar. Aynı zamanda OLLAMA_HOST ve OLLAMA_ORIGINS ayarları ağ güvenliğini garanti eder.
  • Performans: Talep işleme hızını artırmak ve model işlemini optimize etmek için LLAMA_FLASH_ATTENTION teknolojisini kullanır.
  • Hatalı Tolerensi: Istikrarlı çalışma sağlamak için entegre otomatik konteyner ve hizmet yeniden başlatma sistemine sahiptir.
  • Kullanım Alanları:
    • Müşteri Desteği: Kullanıcı sorularına otomatik yanıtlar üretmek;
    • Eğitim: Eğitici materyaller oluşturmak, sorunlara yardımcı olmak;
    • Pazarlama: Promosyon metni oluşturmak, incelemeleri analiz etmek;
    • Yazılım Geliştirme: Kod yazmak ve dokümantasyon hazırlamak.

Çalıştırma Özellikleri

ID Uyumlu OS VM BM VGPU GPU Min CPU (Çekirdekler) Min RAM (GB) Min HDD/SSD (GB) Aktif
250 Ubuntu 22.04 - - + + 4 32 - Evet
  • Kurulum Süresi: OS dahil 15-30 dakika;
  • Ollama sunucusu: LLM'yi bellekte indirir ve çalıştırır;
  • Açık WebUI: Ollama sunucusuna bağlı olarak bir web uygulaması olarak dağıtılır;
  • Kullanıcılar: Açık WebUI web arayüzü aracılığıyla LLM ile etkileşime geçer, talep gönderir ve cevaplar alır;
  • Tüm hesaplama ve veri işleme: Sunucuda yerel olarak gerçekleştirilir. Yöneticiler OpenWebUI araçları aracılığıyla LLM'yi belirli görevler için yapılandırabilir.

Sistem Gereksinimleri ve Teknik Özellikler

  • GPU'lar (Aşağıdakilerin birini seçin):

    • 2x NVIDIA A4000 (her biri 16/24 GB video belleği)
    • 1x NVIDIA A6000 (48 GB video belleği)
    • 1x NVIDIA 5090 (32 GB video belleği)

  • Disk Alanı: Sistem ve model için yeterli kapasiteye sahip SSD;

  • Yazılım: NVIDIA sürücüleri ve CUDA;
  • Video Belleği Tüketimi: 2K token bağlamıyla 28 GB;
  • Sistem İzleme: Sürücüler ve konteynerler için otomatik kontrol.

Kişiselleştirilmiş Gemma-3-27B Sisteminizi Kullanmaya Başlayın

Siparişinizin tamamlanması ve ödeme işleminin gerçekleştirilmesinden sonra, kayıt sırasında verdiğiniz e-posta adresine gönderilen bir bildirimle sunucunun çalışmaya hazır olduğu teyit edilecektir. Bu iletişimde, bağlantı amaçları için gereken VPS IP adresi ve oturum açma bilgileri yer alır. Şirketimizin ekip yönetim ekibi sunucular ve API'ler için kontrol panelini kullanmaktadır - özellikle de Invapi.

webpanel etiketi bağlantısına tıkladığınızda, bir oturum açma penceresi belirir.

Ollama'nın Open WebUI web arayüzüne giriş için erişim bilgileri şunlardır:

  • Open WebUI ve web arayüzü ile yönetim paneline erişim URL: webpanel etiketi üzerinden. Invapi'den gelen Server_ID formatına göre https://gemma<Server_ID_from_Invapi>.hostkey.in adresinde olduğu gibi teyit e-postanızda belirtilmiştir.

Bu bağlantıya tıkladıktan sonra, Open WebUI'de kullanıcı adı (kimlik) ve Şifre oluşturmanız gerekir.

Dikkat

Birinci kullanıcının kaydı sırasında sistem otomatik olarak onlara yönetici rolü atar. Sistem güvenliği ve kayıt süreci kontrolünü sağlamak için, diğer kullanıcıların sisteme katılımı tüm kullanıcılara ait yönetici hesaplarından onaylanmalıdır.

Not

Ollama kontrol paneli ile Open WebUI'nin nasıl kullanılacağı konusunda daha detaylı bilgi Kendi sunucunuza AI chatbot makalesinde bulunabilir.

API kullanarak Gemma-3-27B ile sunucu siparişi

Bu yazılımı API kullanarak yüklemek için, bu talimatları izleyin.

Bu sayfanın bazı içerikleri ya da yazıları AI tarafından oluşturulmuş veya çevrilmiş olabilir.