Gemma-4-31B (Le titre est correct car il s'agit d'un nom de modèle, mais les titres suivants échouent)¶
Dans cet article
Information
Gemma 4-31B est le modèle le plus grand et le plus puissant de la famille Gemma 4, conçu pour résoudre les tâches les plus complexes. Contrairement à la version MoE, ce modèle utilise une architecture Dense classique avec 30,7 milliards de paramètres, offrant une stabilité et une profondeur de raisonnement exceptionnelles. Le déploiement est basé sur Ubuntu 22.04 et nécessite des ressources de calcul importantes: un fonctionnement complet nécessite environ 62 Go de VRAM ; cependant, avec une quantification en 4-bit, le modèle s'exécute avec succès sur des systèmes disposant de 20 Go de mémoire. L'intégration avec Open WebUI fournit une interface pratique pour interagir avec le modèle tout en conservant un contrôle total sur les données.
Caractéristiques principales¶
- Architecture dense puissante : Le modèle est leader dans la catégorie dense en open weights, offrant la plus haute qualité de génération et d'analyse ;
- Multimodalité native : L'architecture prend en charge le traitement simultané d'entrées textuelles et d'images avec une sortie textuelle ;
- Fenêtre de contexte massive : La prise en charge jusqu'à 256K tokens permet de charger des dépôts de code entiers ou de longs documents en mémoire ;
- Mode de réflexion : Le modèle est capable de générer des étapes de raisonnement intermédiaires avant de formuler la réponse finale ;
- Capacités agentiques : La prise en charge native de l'appel de fonctions (function calling) simplifie la création d'agents IA autonomes ;
- Intégration Open WebUI : Fournit une interface web moderne pour une interaction pratique avec le modèle via le port 8080, garantissant un contrôle total sur les données et le traitement des requêtes ;
- Évolutivité : Prise en charge des configurations multi-GPU et capacité de distribuer la charge sur plusieurs GPU pour des performances optimales ;
- Sécurité et contrôle : Un déploiement local complet garantit la confidentialité des données, tandis que les paramètres
OLLAMA_HOSTetOLLAMA_ORIGINSgarantissent la sécurité du réseau ; - Performance : Utilise la technologie
LLAMA_FLASH_ATTENTIONpour accélérer le traitement des requêtes et optimiser le fonctionnement du modèle ; - Tolérance aux pannes : Un système de redémarrage automatique intégré pour les conteneurs et les services assure un fonctionnement stable.
Fonctionnalités de déploiement¶
| ID | Nom du logiciel | Système d'exploitation compatible | VM | BM | VGPU | GPU | Min CPU (Cœurs) | Min RAM (GB) | Min HDD/SSD (GB) | Domaine personnalisé | Actif |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 647 | Gemma-4-31b | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Non | COMMANDER |
Information
Les détails de déploiement pour ce logiciel sont disponibles à ce lien
Remarque
Sauf indication contraire, nous installons par défaut la dernière version de la release du logiciel provenant du site web du développeur ou des dépôts du système d'exploitation.
Prise en main après le déploiement de Gemma-4-31B¶
Une fois le paiement effectué, une notification concernant la disponibilité du serveur sera envoyée à l'adresse e-mail fournie lors de l'inscription. Elle contiendra l'adresse IP du VPS, l'identifiant et le mot de passe pour se connecter au serveur, ainsi qu'un lien pour accéder au panneau Open WebUI. Les clients gèrent leur matériel via le Server Control Panel and API — Invapi.
-
Les identifiants d'autorisation pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyés par e-mail.
-
Le lien pour accéder au panneau de contrôle Ollama avec l'interface web Open WebUI : situé sous la balise webpanel dans l'onglet Configuration >> Tags du panneau de contrôle Invapi. Le lien exact, formaté comme
https://gemma31b<Server_ID_from_Invapi>.hostkey.com, est envoyé dans l'e-mail fourni lors de la livraison du serveur.
Après avoir cliqué sur le lien de la balise webpanel, la fenêtre d'autorisation Get started with Open WebUI s'ouvril, où vous devrez créer un nom d'utilisateur administrateur, une adresse e-mail et un mot de passe pour le chatbot, puis cliquer sur le bouton Create Admin Account :
Attention
Après l'enregistrement du premier utilisateur, le système lui attribue automatiquement le rôle Administrator. Pour garantir la sécurité et le contrôle du processus d'inscription, toutes les demandes d'inscription ultérieures doivent être approuvées dans l'interface Open WebUI à partir d'un compte administrateur.
Remarque
Une description détaillée de la manière de travailler avec le panneau de contrôle Ollama via Open WebUI est disponible dans l'article AI Chatbot on Your Own Server.
Remarque
Pour des performances optimales, il est recommandé d'utiliser un GPU avec plus que la configuration minimale de 24 Go de VRAM, ce qui offre une marge pour le traitement de contextes volumineux et de requêtes parallèles. Des informations détaillées concernant les paramètres de base d'Ollama et d'Open WebUI peuvent être trouvées dans la documentation développeur Ollama et la documentation développeur Open WebUI.