DeepSeek-R1:70B¶

Bu makalede

• DeepSeek-R1:70B'nin Ana Özellikleri
• Çalıştırma Özellikleri
• Sistem Gereksinimleri ve Teknik Spesifikasyonlar
• DeepSeek-R1:70B Dağıttıktan Sonra Başlarken
• API Kullanarak DeepSeek-R1:70B ile Sunucu Siparişi Verme

DeepSeek-R1:70B'nin Ana Özellikleri¶

• Yüksek Performans: Yapısının büyüklüğünden dolayı 70 milyar parametre ile derinlemesine yapılandırılmış olan DeepSeek-R1:70B, doğal dil üretimi ve anlama konularında etkileyici sonuçlar göstermektedir; karmaşık senaryolarda bile yanıtlarının doğruluğunu ve derinliğini sağlamaktadır;
• Çok Dilli Destek: Model, geniş çaplı çok dilli korpustan eğitilmiştir ve Rusça, İngilizce, Çince, İspanyolca, Fransızca gibi birçok dilde güvenle çalışabilir;
• Gelişmiş Tahmin Modları: sıfır-shot, az-shot ve düşünce zinciri mantığı düşüncesi destekler, bu da ona daha fazla eğitim gerektirmeden karmaşık mantıksal, analitik ve yaratıcı görevleri çözmeye olanak tanır;
• Çok Amaçlı Kullanım: DeepSeek-R1:70B, sanatsal ve teknik metin üretiminden kod yazımına ve hata ayıklamaya, matematik problemlerinin çözülmesine kadar geniş bir görev yelpazesini etkili bir şekilde yönetebilir;
• Derin Entegrasyon: Model, REST API aracılığıyla dış sistemlerle kolayca bağlantı kurabilir veya sohbet botlarına, analitik platformlara, IDE'lere ve kurumsal uygulamalar içine entegre edilebilir;
• Hassaslaştırma ve Uyarlanabilirlik Yetenekleri: Tıp, finans, hukuk, mühendislik ve bilimsel araştırma gibi özel alanlara yönelik hassaslaştırma ve LoRA uyarlaması desteği sunar;
• Etik ve Güvenilir: Zararlı, toksik veya önyargılı içerik filtreleme mekanizmalarını içermektedir, sorumlu yapay zeka standartlarına uygunluk sağlar;
• Yerel Kullanım İçin Optimize Edilmiştir: Ölçeğine rağmen DeepSeek-R1:70B, modeli 4-bit'a kadar nicelendirme (kuantizasyon) desteği sunarak kritik kalite kaybı olmadan sınırlı GPU belleğine sahip sunucularda çalıştırılmasına olanak tanır;

• Heterojen Verilerle Başa Çıkma: Model, standart metinlerin yanı sıra programlama kodu, tablolar, JSON, XML ve diğer formatlar gibi çeşitli veri tiplerini etkili bir şekilde işleyebilir, bu da onu veri bilimi ve otomasyon alanındaki değerli bir araç haline getirir;

• Kullanım Örnekleri:

• Akıllı Müşteri Desteği: Gerçek zamanlı olarak kişiye özel, bağlama dayalı yanıtlar üretme;
• Eğitim ve Bilim: Karmaşık problemleri çözmede yardım etmek, kavramları açıklamak, eğitim materyalleri oluşturmak;
• İçerik ve Pazarlama: Yaratıcı metinler üretme, ton analizi yapma, kampanya fikirleri oluşturma;
• Yazılım Mühendisliği: Kod tamamlama, yeniden yapılandırma, belgeler oluşturma, birim testleri oluşturma.

Çalıştırma Özellikleri¶

• Kurulum süresi OS ile birlikte 30-40 dakika sürer;
• Ollama sunucusu LLM'i bellekte yükler ve çalıştırır;
• Open WebUI, Ollama sunucusuna bağlı olarak web uygulaması olarak dağıtılır;
• Kullanıcılar LLM ile etkileşimde bulunmak için Open WebUI web arayüzü üzerinden istek gönderip yanıtlar alır;
• Tüm hesaplamalar ve veri işlemleri sunucuda yerel olarak gerçekleşir. Yöneticiler, belirli görevler için LLM'yi OpenWebUI araçlarıyla yapılandırabilir.

Sistem Gereksinimleri ve Teknik Spesifikasyonlar¶

• İşletim Sistemi: Ubuntu 22.04;
• RAM: En az 128 GB;
• Grafik Hızlandırıcı: 2x5090 ile 32 GB grafik belleği (toplamda 64 GB) veya diğer yapılandırmalar. A100/H100/RTX 6000 PRO kullanmanız önerilir.
• Disk Alanı: Sistem, sürücüler ve modeli yüklemek için yeterli alan;
• Sürücüler: NVIDIA sürücüleri ve GPU'nun doğru çalışması için CUDA;
• Video Bellek Tüketimi: 2K bağlamda 48 GB;
• Otomatik Yeniden Başlatma: Arızalar durumunda konteynerin otomatik yeniden başlatılması ayarlanır;
• GPU Desteği: NVIDIA CUDA ile tam entegrasyon, maksimum performans için.

DeepSeek-R1:70B Dağıttıktan Sonra Başlarken¶

Ödeme yapıldıktan sonra, kayıt sırasında belirtilen e-posta adresine sunucunuzun hazır olduğu bildirilmesi için bir e-posta gönderilecektir. Bu e-postada VPS IP adresi ve sunucuya erişmek için giriş bilgileri (e-postadaki Şifre dahil) ile OpenWebUI kontrol paneline erişim bağlantısı yer alacaktır. Şirketimizin müşterileri sunucu yönetim panosu ve API - Invapi üzerinden ekipmanlarını yönetir.

• Sunucunun İşletim Sistemine Erişmek için Giriş Verileri (örneğin, SSH aracılığıyla), bu bilgileri içeren bir e-posta ile size gönderilecektir.

• Ollama Kontrol Paneline ve Open WebUI Web Arayüzüne Erişim İçin Bağlantı: Invapi kontrol panelindeki webpanel etiketi altındaki Info >> Tags sekmesi. Sunucu teslim edildiğinde https://deepseek<Server_ID_from_Invapi>.hostkey.in formatında kesin bağlantı, e-posta yoluyla size gönderilecektir.

Etiket webpanel üzerinden bağlantıya tıkladıktan sonra Get started with Open WebUI oturum açma penceresi açılacak, burada chatbot'unuz için bir yönetici hesabı adı, e-posta ve şifre oluşturmanız gerekir, ardından Create Admin Account düğmesine tıklamanız gerekir:

API Kullanarak DeepSeek-R1:70B ile Sunucu Siparişi Verme¶

Bu yazılımı API kullanarak kurmak için bu talimatları izleyin.

Sayfada bulunan bazı içerik, AI kullanılarak oluşturulmuş veya çevrilmiştir.