Gemma-3-27B¶
Bu makalede
Bilgi
Gemma-3-27B, Ollama platformu aracılığıyla yerel dağıtım için önemli düzeyde hesaplama kaynakları gerektiren güçlü bir dil modelidir. Bu modelin donanım gereksinimleri, özellikle GPU bellek hacmi açısından yüksektir. Dağıtım, modern NVIDIA grafik hızlandırıcıları kullanılarak Ubuntu 22.04 üzerine kurulur. Open Web UI ile entegrasyon, veri ve istek işleme üzerinde tam kontrol sağlarken modelle etkileşim için kullanışlı bir arayüz sunar.
Gemma-3-27B'nin Temel Özellikleri¶
- Yüksek performanslı mimari: Model, 27 milyar parametreye sahiptir ve modern teknolojiler kullanılarak karmaşık görevleri yüksek doğrulukla işlemek için optimize edilmiştir;
- Open Web UI ile entegrasyon: 8080. port üzerinden modelle kolay etkileşim için modern bir web arayüzü sağlar; veri ve istek işleme üzerinde tam kontrol sunar;
- Ölçeklenebilirlik: Optimum performans için çoklu kart yapılandırmalarını ve birden fazla GPU arasında yük dağıtımını destekler;
- Güvenlik ve kontrol: Tam yerel dağıtım, veri gizliliğini sağlar; OLLAMA_HOST ve OLLAMA_ORIGINS ayarları ağ güvenliğini garanti eder;
- Performans: İstek işlemlerini hızlandırmak ve model işlemlerini optimize etmek için LLAMA_FLASH_ATTENTION teknolojisini kullanır;
-
Güvenilirlik: Konteynerler ve hizmetler için otomatik yeniden başlatma sistemi, kararlı çalışmayı sağlar.
-
Kullanım örnekleri:
- Müşteri desteği: Kullanıcı sorularına yanıtların otomatikleştirilmesi;
- Eğitim: Eğitim materyallerinin oluşturulması, görevlerin çözülmesine yardımcı olma;
- Pazarlama: Reklam metinlerinin oluşturulması, incelemelerin analizi;
- Yazılım geliştirme: Kodun oluşturulması ve dokümante edilmesi.
Çalıştırma Özellikleri¶
| ID | Yazılım Adı | Uyumlu OS | VM | BM | VGPU | GPU | Min CPU (Çekirdekler) | Min RAM (GB) | Min HDD/SSD (GB) | Özel Alan Adı | Aktif |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 250 | Gemma-3-27b | Ubuntu 22.04 | - | - | + | + | 4 | 32 | - | Hayır | SİPARİŞ VER |
- Kurulum süresi: İşletim sistemi ile birlikte 15-30 dakika;
- Ollama sunucusu, LLM'yi belleğe yükler ve çalıştırır;
- Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak dağıtılır;
- Kullanıcılar, Open WebUI web arayüzü üzerinden LLM ile etkileşime girer, istek gönderir ve yanıtlar alır;
- Tüm hesaplamalar ve veri işleme, sunucuda yerel olarak gerçekleşir. Yöneticiler, OpenWebUI araçlarını kullanarak LLM'yi belirli görevler için yapılandırabilir.
Sistem Gereksinimleri ve Teknik Özellikler¶
-
CUDA destekli Grafik Hızlandırıcı (seçeneklerden biri, daha iyisi olabilir):
- 2x NVIDIA A4000 (her biri 16/24 GB video bellek)
- 2x NVIDIA A5000 (her biri 24 GB video bellek)
- 1x NVIDIA A6000 (48 GB video bellek)
- 1x NVIDIA 5090 (32 GB video bellek)
-
Disk alanı: Sistem ve model için yeterli boyutta SSD;
- Yazılım: NVIDIA sürücüleri ve CUDA;
- Video bellek tüketimi: 2K token bağlamında 28 GB;
- Sistem izleme: Sürücü ve konteynerlerin otomatik kontrolleri.
Gemma-3-27B Dağıtıldıktan Sonra Başlangıç¶
Ödeme yapıldıktan sonra, sunucunun çalışmaya hazır olduğunu belirten bir e-posta, kayıtlı adrese gönderilecektir. Bu e-postada VPS IP adresi, sunucuya erişim için giriş ve şifre bilgileri ile OpenWebUI paneline erişim bağlantısı yer alacaktır. Şirketimizin müşterileri, ekipmanları sunucu yönetim paneli ve API — Invapi üzerinden yönetir.
-
Sunucunun işletim sistemine erişim için kimlik doğrulama verileri (örneğin, SSH üzerinden) aldığınız e-postada size gönderilecektir.
-
Open WebUI web arayüzüne sahip Ollama kontrol paneline erişim bağlantısı: Invapi kontrol panelinin Configuration >> Tags sekmesindeki webpanel etiketinde bulunur. Sunucu tahsis edildiğinde,
https://gemma<Invapi'den_Sunucu_ID>.hostkey.inbiçimindeki tam bağlantı e-posta ile gönderilir.
webpanel etiketindeki bağlantıya tıkladıktan sonra, Get started with Open WebUI giriş penceresi açılır; burada sohbet botunuz için bir yönetici hesap adı, e-posta ve şifre oluşturmanız ve ardından Create Admin Account düğmesine tıklamanız gerekir:
Dikkat
İlk kullanıcı kaydedildikten sonra, sistemin kendisine otomatik olarak yönetici rolü atar. Güvenliği ve kayıt süreci üzerindeki kontrolü sağlamak için, sonraki tüm kayıt talepleri OpenWebUI'den yönetici hesabı üzerinden onaylanmalıdır.
Not
Open WebUI web arayüzüne sahip Ollama kontrol paneli ile çalışmanın özellikleri hakkında detaylı bilgi, Kendi Sunucunuzda AI Sohbet Botu makalesinde bulunabilir.
Not
Optimum performans için, minimum gerekli 16 GB video belleğinden daha fazla video belleğe sahip bir GPU kullanılması önerilir. Bu, büyük bağlamların ve paralel isteklerin işlenmesi için bir tampon sağlar. Ollama'nın temel ayarları ve Open WebUI hakkında detaylı bilgi, Ollama geliştiricilerinin dokümantasyonu ve Open WebUI geliştiricilerinin dokümantasyonu adreslerinde bulunabilir.