Llama-3.3-70B¶

Bu makalede

• Llama-3.3-70B'nin Ana Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Belgelendirme
• Llama-3.3-70B Dağıtıldıktan Sonra Başlarken
• API Kullanarak Llama-3.3-70B ile Sunucu Siparişi Verme

Llama-3.3-70B'nin Ana Özellikleri¶

• Yüksek performanslı mimari: Model 70 milyar parametreye sahiptir ve modern dağıtılmış bilgi işlem teknolojileri kullanılarak karmaşık görevlerin işlenmesinde eşsiz doğrulukla optimize edilmiştir;

• Open Web UI ile entegrasyon: Port 8080 üzerinde mevcut olan modern bir web arayüzü, veri, hesaplama kaynakları ve işlem süreçleri üzerinde tam kontrol sağlar;

• Dağıtılmış bilgi işlem: birden fazla GPU arasında otomatik yük dengeleme ile gelişmiş çok kartlı yapılandırma desteği;

• Ölçeklenebilirlik: performansı artırmak için ekstra GPU'lar eklenebilen yatay ölçekleme yeteneği;

• Performans: LLAMA_FLASH_ATTENTION teknolojisi kullanarak hesaplamaları optimize eder ve istek işleme hızını artırır;

• Hata toleransı: sürekli çalışmayı sağlayan otomatik kurtarma sistemi.

• Kullanım örnekleri:

  • Müşteri desteği: kullanıcı sorularına yanıtların otomasyonu;

  • Eğitim: eğitim materyallerinin oluşturulması, problemlerde yardımcı olma;

  • Pazarlama: reklam metinlerinin oluşturulması, yorumların analizi;

  • Yazılım geliştirme: kodun oluşturulması ve belgelenmesi.

Çalıştırma Özellikleri¶

• Kurulum süresi, işletim sistemi dahil olmak üzere 15-30 dakika;

• Ollama sunucusu LLM'i bellekte yükler ve çalıştırır;

• Open WebUI bir web uygulaması olarak dağıtılır ve Ollama sunucusuyla bağlantılıdır;

• Kullanıcılar, OpenWebUI web arayüzü üzerinden LLM ile etkileşime girer, istekler gönderir ve yanıtlar alır;

• Çok kartlı sistemler için dağıtılmış bilgi işlem yapılandırması;

• Sistem durumunun izlenmesi, GPU sıcaklığı ve performans dahil;

• Birden fazla grafik hızlandırıcının paralel çalışmasının optimize edilmesi.

• Tüm hesaplamalar ve veri işleme sunucuda yerel olarak gerçekleşir. Yöneticiler, OpenWebUI araçlarıyla LLM'i belirli görevler için yapılandırabilir.

Sistem Gereksinimleri ve Teknik Belgelendirme¶

• CUDA desteğiyle Grafik Hızlandırıcı (bir seçenek, daha iyi olabilir):
  • 1x NVIDIA H100
  • 2x NVIDIA A100 (her biri 48 GB video belleği ile)
  • 2x NVIDIA RTX 5090 (her biri 32 GB video belleği ile)
  • 2x NVIDIA A6000 (her biri 48 GB video belleği ile)
  • 3x NVIDIA RTX 4090 (her biri 24 GB video belleği ile)
  • 3x NVIDIA A5000 (her biri 24 GB video belleği ile)

Llama-3.3-70B Dağıtıldıktan Sonra Başlarken¶

Ödeme sonrasında, sunucunun çalışmaya hazır olduğu bildirimiyle birlikte kayıtlı e-posta adresinize bilgi gönderilecektir. Sunucuya bağlanmak için gerekli VPS IP adresi ve oturum açma verileri (giriş ve şifre) dahil olmak üzere OpenWebUI'ye erişim linki de içerecektir. Şirketimizin müşterileri ekipmanı sunucu yönetim paneli ve API — Invapi üzerinden yönetirler.

• Sunucunun işletim sistemiyle etkileşime geçmek için oturum açma verileri (örneğin, SSH üzerinden) size e-posta ile gönderilecektir.

• Ollama kontrol paneline erişim linki Open WebUI web arayüzü ile: Invapi'nin yönetim konsolunda Info >> Tags sekmesinde webpanel etiketi altında bulunur. Sunucu teslimatı sırasında e-posta ile https://llama<Server_ID_from_Invapi>.hostkey.in formundaki tam link gönderilir.

Etiket webpanel üzerinden bağlantıya tıkladıktan sonra Get started with Open WebUI oturum açma penceresi açılacak, burada chatbot'unuz için bir yönetici hesabı adı, e-posta ve şifre oluşturmanız gerekir, ardından Create Admin Account düğmesine tıklamanız gerekir:

API Kullanarak Llama-3.3-70B ile Sunucu Siparişi Verme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.

Sayfada bazı içeriğin AI ile oluşturulması veya çevrilmesi yapılmıştır.