Llama-3.3-70B¶

Bu makalede

• Llama-3.3-70B'nin Ana Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Özellikler
• Llama-3.3-70B Dağıtıldıktan Sonra Başlangıç
• API Kullanarak Llama-3.3-70B ile Bir Sunucu Siparişi

Llama-3.3-70B'nin Ana Özellikleri¶

• Yüksek performanslı mimari: Model 70 milyar parametreye sahiptir ve modern dağıtılmış hesaplama teknolojileri aracılığıyla karmaşık görevleri eşsiz doğrulukla işlemek için optimize edilmiştir;

• Open Web UI ile entegrasyon: 8080. portta bulunan modern bir web arayüzü; veri, hesaplama kaynakları ve işleme süreçleri üzerinde tam kontrol sağlar;

• Dağıtılmış hesaplama: Birden fazla GPU arasında otomatik yük dengelemesi ile çoklu kart yapılandırmaları için gelişmiş destek;

• Ölçeklenebilirlik: Performansı artırmak için ek GPU'lar ekleyerek yatay ölçeklendirme yeteneği;

• Performans: Hesaplamaları optimize etmek ve istek işleme hızını artırmak için LLAMA_FLASH_ATTENTION teknolojisi kullanımı;

• Hata toleransı: Otomatik kurtarma sistemi sürekli çalışmayı sağlar.

• Kullanım örnekleri:

  • Müşteri desteği: Kullanıcı sorgularına yanıtların otomatikleştirilmesi;

  • Eğitim: Eğitim materyallerinin oluşturulması, problem çözmede yardımcı olunması;

  • Pazarlama: Reklam metinlerinin oluşturulması, incelemelerin analiz edilmesi;

  • Yazılım geliştirme: Kodun oluşturulması ve dokümante edilmesi.

Çalıştırma Özellikleri¶

• Kurulum süresi, işletim sistemi dahil olmak üzere 15-30 dakikadır;

• Ollama sunucusu, dil modelini (LLM) belleğe yükler ve çalıştırır;

• Open WebUI, Ollama sunucusuna bağlı bir web uygulaması olarak dağıtılır;

• Kullanıcılar, Open WebUI web arayüzü aracılığıyla LLM ile etkileşime girer, istek gönderir ve yanıtlar alır;

• Çoklu kart sistemler için dağıtılmış hesaplama yapılandırması;

• GPU sıcaklığı ve performansı dahil olmak üzere sistem durumunun izlenmesi;

• Birden fazla grafik hızlandırıcının paralel çalışmasının optimizasyonu;

• Tüm hesaplamalar ve veri işleme, sunucuda yerel olarak gerçekleşir. Yöneticiler, OpenWebUI araçları aracılığıyla LLM'yi belirli görevler için yapılandırabilir.

Sistem Gereksinimleri ve Teknik Özellikler¶

• CUDA desteğine sahip Grafik Hızlandırıcı (seçeneklerden biri, daha iyisi olabilir):

  • 1x NVIDIA H100
  • 2x NVIDIA A100 (her biri 48 GB video bellek)
  • 2x NVIDIA RTX 5090 (her biri 32 GB video bellek)
  • 2x NVIDIA A6000 (her biri 48 GB video bellek)
  • 3x NVIDIA RTX 4090 (her biri 24 GB video bellek)
  • 3x NVIDIA A5000 (her biri 24 GB video bellek)

• Disk alanı: Sistem ve model için yeterli boyutta SSD;

• Yazılım: NVIDIA sürücüleri ve CUDA;

• Video bellek kullanımı: 2K token bağlamı ile 53 GB;

• Sistem izleme: Sürücü durumu, konteynerler ve GPU sıcaklığı kapsamlı şekilde kontrol edilir.

Llama-3.3-70B Dağıtıldıktan Sonra Başlangıç¶

Ödeme yapıldıktan sonra, kayıtlı e-posta adresine sunucunun çalışmaya hazır olduğunu bildiren bir e-posta gönderilecektir. Bu e-posta, VPS IP adresini, sunucuya bağlanmak için giriş ve şifre bilgilerini ve OpenWebUI'ye erişim bağlantısını içerecektir. Şirketimizin müşterileri, donanımı sunucu yönetim paneli ve API — Invapi aracılığıyla yönetir.

• Sunucunun işletim sistemine erişim için kimlik doğrulama verileri (örneğin SSH üzerinden) aldığınız e-postada size gönderilecektir.

• Open WebUI web arayüzüne sahip Ollama yönetim paneline erişim bağlantısı: Invapi yönetim konsolunun Configuration >> Tags sekmesindeki webpanel etiketi altında bulunur. https://llama<Invapi'den_Sunucu_ID>.hostkey.in biçimindeki tam bağlantı, sunucu teslimi sırasında bir e-posta ile gönderilir.

webpanel etiketindeki bağlantıya tıkladıktan sonra, sohbet botunuz için bir yönetici hesap adı, e-posta ve şifre oluşturmanız gereken Get started with Open WebUI giriş penceresi açılır; ardından Create Admin Account düğmesine basın:

API Kullanarak Llama-3.3-70B ile Bir Sunucu Siparişi¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.