North Mini Code 1.0¶
Dans cet article
Information
North Mini Code 1.0 est le premier modèle spécialisé pour les développeurs de Cohere Labs, conçu pour la génération de code et l'ingénierie d'agents logiciels. Le modèle utilise une architecture Mixture-of-Experts (MoE) avec un total de 30 milliards de paramètres, dont seulement 3 milliards sont activés par token. Cela permet des performances élevées avec des exigences de mémoire relativement modestes : dans Ollama, le modèle occupe environ 19 Go et supporte une fenêtre de contexte impressionnante allant jusqu'à 488K tokens. Le déploiement basé sur Ubuntu 22.04 avec l'intégration d'Open WebUI offre une interface conviviale et un contrôle total sur le code source confidentiel.
Caractéristiques clés de North Mini Code 1.0¶
- Architecture MoE efficace : 30B de paramètres au total avec seulement 3B actifs, garantissant une vitesse de génération de code élevée et une faible consommation de ressources informatiques ;
- Fenêtre de contexte géante : Prise en charge native de 256K tokens, extensible jusqu'à 488K dans Ollama, permettant le chargement de bases de code entières et de documentations volumineuses en mémoire ;
- Ingénierie d'agents logiciels : Le modèle est spécifiquement optimisé pour fonctionner comme un codeur autonome et un planificateur de tâches ;
- Exécution locale : Sa taille compacte rend ce modèle puissant disponible pour une exécution sur des GPU modernes ;
- Intégration Open WebUI : Fournit une interface web moderne pour une interaction facile avec le modèle via le port 8080, garantissant un contrôle total sur les données et le traitement des requêtes ;
- Évolutivité : Prise en charge des configurations multi-GPU et capacité de distribuer la charge sur plusieurs GPU pour des performances optimales ;
- Sécurité et contrôle : Le déploiement local complet garantit la confidentialité des données, tandis que les paramètres
OLLAMA_HOSTetOLLAMA_ORIGINSgarantissent la sécurité du réseau ; - Performance : Utilise des mécanismes d'attention efficaces pour accélérer le traitement des requêtes et optimiser le fonctionnement du modèle ;
- Tolérance aux pannes : Un système de redémarrage automatique intégré pour les conteneurs et les services assure un fonctionnement stable.
Fonctionnalités de déploiement¶
| ID | Nom du logiciel | Système d'exploitation compatible | VM | BM | VGPU | GPU | Min CPU (Cœurs) | Min RAM (GB) | Min HDD/SSD (GB) | Domaine personnalisé | Actif |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Non | COMMANDER |
Information
Les détails de déploiement pour ce logiciel sont disponibles à ce lien
Remarque
Sauf indication contraire, nous installons par défaut la dernière version de la release du logiciel provenant du site web du développeur ou des dépôts du système d'exploitation.
Prise en main après le déploiement de North Mini Code 1.0¶
Une fois le paiement effectué, une notification concernant la disponibilité du serveur sera envoyée à l'adresse e-mail fournie lors de l'inscription. Cet e-mail contiendra l'adresse IP du VPS, l'identifiant et le mot de passe pour se connecter au serveur, ainsi qu'un lien pour accéder au panneau Open WebUI. Les clients peuvent gérer leur matériel dans le Server Control Panel and API — Invapi.
-
Les identifiants d'autorisation pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyés par e-mail.
-
Lien pour accéder au panneau de contrôle Ollama avec l'interface web Open WebUI : situé sous la balise webpanel dans la section Configuration >> Tags du panneau de contrôle Invapi. Le lien exact, formaté comme
https://north-mini<Server_ID_from_Invapi>.hostkey.com, est envoyé dans l'e-mail fourni lors de la livraison du serveur.
Après avoir cliqué sur le lien de la balise webpanel, la fenêtre d'autorisation Get started with Open WebUI s'ouvrira, où vous devrez créer un nom d'utilisateur administrateur, une adresse e-mail et un mot de passe pour le chatbot, puis cliquer sur le bouton Create Admin Account :
Attention
Après l'enregistrement du premier utilisateur, le système lui attribue automatiquement le rôle Administrator. Pour garantir la sécurité et le contrôle du processus d'inscription, toutes les demandes d'inscription ultérieures doivent être approuvées dans l'interface Open WebUI à partir d'un compte administrateur.
Remarque
Une description détaillée de la manière de travailler avec le panneau de contrôle Ollama via Open WebUI est disponible dans l'article AI Chatbot on Your Own Server.
Remarque
Pour des performances optimales, il est recommandé d'utiliser un GPU avec plus que la configuration minimale de 24 Go de VRAM, ce qui offre une marge pour le traitement de contextes volumineux et de requêtes parallèles. Des informations détaillées sur les paramètres de base d'Ollama et d'Open WebUI peuvent être trouvées dans la documentation développeur Ollama et la documentation développeur Open WebUI.