DeepSeek-R1:70B¶

Dans cet article

• Fonctionnalités principales de DeepSeek-R1:70B
• Fonctionnalités de déploiement
• Configuration système et spécifications techniques
• Prise en main après le déploiement de DeepSeek-R1:70B
• Commande d'un serveur avec DeepSeek-R1:70B via l'API

Fonctionnalités principales de DeepSeek-R1:70B¶

• Haute performance : Grâce à son architecture massive de 70 milliards de paramètres, DeepSeek-R1:70B démontre des résultats exceptionnels en génération et compréhension de langage naturel, assurant précision et profondeur des réponses même dans des scénarios complexes ;
• Prise en charge multilingue : Le modèle est entraîné sur de vastes corpus multilingues et peut travailler avec confiance avec des dizaines de langues, dont le russe, l'anglais, le chinois, l'espagnol, le français et bien d'autres ;
• Modes d'inférence avancés : Prend en charge le raisonnement zero-shot, few-shot et chain-of-thought, permettant de résoudre des tâches logiques, analytiques et créatives complexes sans besoin de formation supplémentaire ;
• Application polyvalente : DeepSeek-R1:70B gère efficacement une large gamme de tâches — de la génération de textes artistiques et techniques à l'écriture et au débogage de code, la résolution de problèmes mathématiques et l'analyse de données structurées ;
• Intégration approfondie : Le modèle peut facilement se connecter à des systèmes externes via une API REST ou être intégré dans des chatbots, des plateformes analytiques, des IDE et des applications d'entreprise ;
• Capacités de fine-tuning et d'adaptation : Prend en charge le fine-tuning et l'adaptation LoRA pour des domaines spécialisés — tels que la médecine, la finance, le droit, l'ingénierie et la recherche scientifique ;
• Éthique et fiable : Inclut des mécanismes intégrés de filtrage du contenu toxique, nuisible ou biaisé, conformément aux normes modernes d'IA responsable ;
• Optimisé pour une utilisation locale : Malgré son ampleur, DeepSeek-R1:70B prend en charge la quantification (par exemple, jusqu'à 4 bits), permettant son exécution sur des serveurs avec une mémoire GPU limitée sans perte critique de qualité ;

• Gestion de données hétérogènes : Le modèle traite efficacement non seulement du texte standard, mais aussi du code de programmation, des tableaux, du JSON, du XML et d'autres formats, ce qui en fait un outil précieux en science des données et en automatisation ;

• Exemples d'utilisation :

• Support client intelligent : Génération de réponses personnalisées et contextuelles en temps réel ;
• Éducation et science : Assistance pour la résolution de problèmes complexes, l'explication de concepts, la génération de matériel pédagogique ;
• Contenu et marketing : Création de textes créatifs, analyse du ton, génération d'idées pour des campagnes ;
• Ingénierie logicielle : Autocomplétion de code, refactoring, documentation, génération de tests unitaires.

Fonctionnalités de déploiement¶

• Le temps d'installation est de 30 à 40 minutes avec le système d'exploitation ;
• Le serveur Ollama charge et exécute le LLM en mémoire ;
• Open WebUI est déployé en tant qu'application web connectée au serveur Ollama ;
• Les utilisateurs interagissent avec le LLM via l'interface web Open WebUI, en envoyant des requêtes et en recevant des réponses ;
• Tous les calculs et le traitement des données se produisent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques via les outils OpenWebUI.

Configuration système et spécifications techniques¶

• Système d'exploitation : Ubuntu 22.04 ;
• RAM : minimum 128 Go de RAM ;
• Accélérateur graphique : 2x5090 avec 32 Go de mémoire vidéo (64 Go au total) ou autres configurations. Il est recommandé d'utiliser A100/H100/RTX 6000 PRO
• Espace disque : Suffisant pour l'installation du système, des pilotes et du modèle ;
• Pilotes : Pilotes NVIDIA et CUDA pour un fonctionnement correct du GPU ;
• Consommation de mémoire vidéo : 48 Go pour un contexte de 2K tokens ;
• Redémarrage automatique : Le redémarrage automatique du conteneur est configuré en cas de défaillance ;
• Prise en charge du GPU : Intégration complète avec NVIDIA CUDA pour des performances maximales.

Prise en main après le déploiement de DeepSeek-R1:70B¶

Après le paiement, un e-mail sera envoyé à l'adresse spécifiée lors de l'inscription pour vous notifier que le serveur est prêt. Il contiendra l'adresse IP du VPS, ainsi que les identifiants et le mot de passe pour accéder au serveur et un lien pour accéder au panneau de contrôle OpenWebUI. Les clients de notre entreprise gèrent l'équipement via le panneau de gestion des serveurs et l'API — Invapi.

• Données de connexion pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyées par e-mail.

• Lien pour accéder au panneau de contrôle Ollama avec l'interface web Open WebUI : Dans la balise webpanel sous l'onglet Info >> Tags du panneau de contrôle Invapi. Le lien exact au format https://deepseek<Server_ID_from_Invapi>.hostkey.in sera envoyé par e-mail lors de la livraison du serveur.

Après avoir cliqué sur le lien de la balise webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devrez créer un nom de compte administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le bouton Create Admin Account :

Commande d'un serveur avec DeepSeek-R1:70B via l'API¶