DeepSeek-R1:70B¶

Dans cet article

• Principales caractéristiques de DeepSeek-R1:70B
• Fonctionnalités de déploiement
• Exigences système et spécifications techniques
• Mise en route après le déploiement de DeepSeek-R1:70B
• Commande d'un serveur avec DeepSeek-R1:70B via API

Principales caractéristiques de DeepSeek-R1:70B¶

• Haute Performance : Grâce à son architecture massive avec 70 milliards de paramètres, DeepSeek-R1:70B démontre des résultats exceptionnels en matière de génération et de compréhension du langage naturel, garantissant l'exactitude et la profondeur des réponses même dans des scénarios complexes ;
• Support Multilingue : Le modèle a été entraîné sur d'immenses corpus multilingues et peut travailler avec confiance en plusieurs dizaines de langues, y compris le russe, l'anglais, le chinois, l'espagnol, le français et bien d'autres ;
• Modes d'Inférence Avancés : Prend en charge les modes zero-shot, few-shot et la chaîne de pensée, lui permettant de résoudre des tâches complexes logiques, analytiques et créatives sans nécessiter un entraînement supplémentaire ;
• Application Polyvalente : DeepSeek-R1:70B traite efficacement une large gamme de tâches — de la génération de textes artistiques et techniques à l'écriture et au débogage de code, la résolution de problèmes mathématiques et l'analyse de données structurées ;
• Intégration Profonde : Le modèle peut facilement se connecter à des systèmes externes via une API REST ou être intégré dans des chatbots, des plateformes analytiques, des IDE et des applications d'entreprise ;
• Capacités de Fine-tuning et d'Adaptation : Prend en charge le fine-tuning et l'adaptation LoRA pour des domaines spécialisés — tels que la médecine, la finance, le droit, l'ingénierie et la recherche scientifique ;
• Éthique et Fiable : Comprend des mécanismes intégrés de filtrage du contenu toxique, nuisible ou biaisé, en conformité avec les normes modernes d'une IA responsable ;
• Optimisé pour l'Utilisation Locale : Malgré sa taille, DeepSeek-R1:70B supporte la quantification (par exemple, jusqu'à 4 bits), permettant de le faire fonctionner sur des serveurs avec une mémoire GPU limitée sans perte critique de qualité ;

• Gestion des Données Hétérogènes : Le modèle traite efficacement non seulement les textes standards mais aussi du code informatique, des tables, JSON, XML et d'autres formats, en faisant un outil précieux pour la science des données et l'automatisation ;

• Exemples d'Utilisation :

• Support Client Intelligent : Génération de réponses personnalisées et dépendantes du contexte en temps réel ;
• Éducation et Sciences : Aide à résoudre des problèmes complexes, expliquer des concepts, générer des matériaux éducatifs ;
• Contenu et Marketing : Création de textes créatifs, analyse du ton, génération d'idées pour les campagnes ;
• Ingénierie Logicielle : Complétion automatique de code, refactoring, documentation, génération de tests unitaires.

Fonctionnalités de déploiement¶

• Le temps d'installation est de 30 à 40 minutes avec le système d’exploitation ;

• Le serveur Ollama charge et exécute le LLM en mémoire ;

• Open WebUI est déployé comme une application web connectée au serveur Ollama ;

• Les utilisateurs interagissent avec le LLM via l'interface WebUI du Web, envoyant des requêtes et recevant des réponses ;

• Toutes les calculs et traitements de données se produisent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques à l'aide d'outils OpenWebUI.

Exigences système et spécifications techniques¶

• Système d’Exploitation : Ubuntu 22.04 ;
• RAM : Au moins 128 Go ;
• Accélérateur graphique : 2 x 5090 avec 32 Go de mémoire vidéo (64 Go au total) ou d'autres configurations. Il est recommandé d'utiliser A100/H100/RTX 6000 PRO
• Espace Disque : Suffisant pour installer le système, les pilotes et le modèle ;
• Pilotes : Pilotes NVIDIA et CUDA pour un fonctionnement correct du GPU ;
• Consommation de Mémoire Vidéo : 48 Go à un contexte de 2K tokens ;
• Redémarrage Automatique : Un redémarrage automatique du conteneur est configuré en cas d'échec ;
• Support GPU : Intégration complète avec NVIDIA CUDA pour une performance maximale.

Mise en route après le déploiement de DeepSeek-R1:70B¶

Après paiement, un email sera envoyé à l'adresse spécifiée lors de l'enregistrement vous informant que le serveur est prêt. Il inclura l'adresse IP du VPS ainsi que les identifiants de connexion pour accéder au serveur et un lien pour accéder au panneau de contrôle OpenWebUI. Les clients de notre entreprise gèrent l'équipement via le panneau de gestion des serveurs et API — Invapi.

• Identifiants d'Accès pour la Connexion au Système d’Exploitation du Serveur (par exemple, via SSH) vous seront envoyés par email.

• Lien pour Accéder au Panneau de Contrôle Ollama avec l'Interface WebUI Open: Dans le tag webpanel sous la rubrique Info >> Tags du panneau de contrôle Invapi. Le lien exact au format https://deepseek<Server_ID_from_Invapi>.hostkey.in vous sera envoyé par email lorsque le serveur est livré.

Après avoir cliqué sur le lien depuis l'icône webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devez créer un nom d'utilisateur administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le Create Admin Account bouton:

Commande d'un serveur avec DeepSeek-R1:70B via API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.

Une partie du contenu de cette page a été créée ou traduite à l'aide d'une IA.