Gemma-4-26B¶

Dans cet article

• Caractéristiques principales
• Fonctionnalités de déploiement
• Prise en main après le déploiement de Gemma-4-26B
• Commande d'un serveur avec Gemma-4-26B via l'API

Caractéristiques principales¶

• Architecture Mixture of Experts (MoE) : Le modèle contient 25,2 Md de paramètres actifs sur un total de 26 Md, n'activant qu'environ 3,8 Md de paramètres par jeton ; cela offre la vitesse d'un modèle dense 4B avec le niveau d'intelligence d'un modèle 26B ;
• Multimodalité : Prise en charge native du traitement des entrées texte et image avec génération de sorties textuelles ;
• Fenêtre de contexte massive : La prise en charge jusqu'à 256K jetons permet de travailler sur de longs documents, de grandes bases de code et des dialogues complexes ;
• Thinking Mode : Un mode de raisonnement personnalisable pour résoudre des tâches logiques et analytiques complexes ;
• Capacités agentique : Prise en charge native de l'appel de fonctions (function calling) et de la sortie structurée pour l'intégration avec des outils et API externes ;
• Flexibilité de déploiement : La version complète nécessite environ 80 Go de VRAM, mais la quantification Q4 permet de faire fonctionner le modèle sur un GPU de 24 Go, tandis que les builds optimisés peuvent fonctionner sur 16 Go de VRAM ;
• Intégration Open WebUI : Une interface web moderne pour l'interaction via le port 8080 avec un contrôle total sur les données et le traitement des requêtes ;
• Scalabilité : Prise en charge des configurations multi-GPU et de l'équilibrage de charge sur plusieurs GPU ;
• Sécurité et contrôle : Le déploiement local garantit la confidentialité des données ; les paramètres OLLAMA_HOST et OLLAMA_ORIGINS garantissent la sécurité du réseau ;
• Performance : Utilisation de LLAMA_FLASH_ATTENTION et d'une architecture MoE efficace pour accélérer le traitement des requêtes ;
• Tolance aux pannes : Système de redémarrage automatique intégré pour les conteneurs et les services afin d'assurer un fonctionnement stable.

Fonctionnalités de déploiement¶

Prise en main après le déploiement de Gemma-4-26B¶

Une fois le paiement effectué, une notification sera envoyée à l'adresse e-mail fournie lors de l'inscription dès que le serveur est prêt à fonctionner. Cette notification comprendra l'adresse IP du VPS, l'identifiant et le mot de passe pour la connexion au serveur, ainsi qu'un lien pour accéder au panneau Open WebUI. Les clients peuvent gérer leur matériel dans le Server Control Panel and API — Invapi.

• Les identifiants d'autorisation pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyés par e-mail.

• Le lien pour accéder au panneau de contrôle Ollama avec l'interface web Open WebUI : situé sous la balise webpanel dans la section Configuration >> Tags du panneau de contrôle Invapi. Le lien exact, formaté comme https://gemma26b<Server_ID_from_Invapi>.hostkey.com, est envoyé dans l'e-mail remis lors de la remise du serveur.

Après avoir cliqué sur le lien de la balise webpanel, la fenêtre d'autorisation Get started with Open WebUI s'ouvrêra, où vous devrez créer un nom d'utilisateur administrateur, une adresse e-mail et un mot de passe pour le chatbot, puis cliquer sur Create Admin Account :

Commande d'un serveur avec Gemma-4-26B via l'API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.