Gemma-3-27B¶

Dans cet article

• Fonctionnalités principales de Gemma-3-27B
• Fonctionnalités de déploiement
• Configuration requise et spécifications techniques
• Prise en main après le déploiement de Gemma-3-27B
• Commander un serveur avec Gemma-3-27B via API

Gemma-3-27B est un modèle de langage puissant nécessitant des ressources de calcul importantes pour un déploiement local via la plateforme Ollama. Ce modèle présente des exigences matérielles élevées, particulièrement en termes de volume de mémoire GPU. Le déploiement est basé sur Ubuntu 22.04 utilisant des accélérateurs graphiques NVIDIA modernes. L'intégration avec Open Web UI fournit une interface pratique pour interagir avec le modèle tout en conservant un contrôle total sur les données et le traitement des requêtes.

Fonctionnalités principales de Gemma-3-27B¶

• Architecture haute performance : Le modèle possède 27 milliards de paramètres et est optimisé pour gérer des tâches complexes avec une grande précision grâce à des technologies modernes ;
• Intégration avec Open Web UI : Fournit une interface web moderne pour une interaction pratique avec le modèle via le port 8080, garantissant un contrôle total sur les données et le traitement des requêtes ;
• Évolutivité : Prend en charge les configurations multi-cartes et la distribution de la charge sur plusieurs GPU pour des performances optimales ;
• Sécurité et contrôle : Un déploiement local complet assure la confidentialité des données, tandis que les paramètres OLLAMA_HOST et OLLAMA_ORIGINS garantissent la sécurité du réseau ;
• Performance : Utilise la technologie LLAMA_FLASH_ATTENTION pour accélérer le traitement des requêtes et optimiser le fonctionnement du modèle ;

• Fiabilité : Un système intégré de redémarrage automatique des conteneurs et des services assure un fonctionnement stable.

• Exemples d'utilisation :

  • Support client : Automatisation des réponses aux questions des utilisateurs ;
  • Éducation : Création de supports pédagogiques, aide à la résolution de tâches ;
  • Marketing : Génération de textes publicitaires, analyse d'avis ;
  • Développement logiciel : Création et documentation de code.

Fonctionnalités de déploiement¶

• Le serveur Ollama charge et exécute le LLM en mémoire ;
• Open WebUI est déployé en tant qu'application web connectée au serveur Ollama ;
• Les utilisateurs interagissent avec le LLM via l'interface web Open Web UI, envoyant des requêtes et recevant des réponses ;
• Tous les calculs et traitements de données s'effectuent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques à l'aide des outils OpenWebUI.

Configuration requise et spécifications techniques¶

• Accélérateur graphique avec support CUDA (l'une des options, peut être préférable) :

  • 2x NVIDIA A4000 (16/24 GB de mémoire vidéo chacun)
  • 2x NVIDIA A5000 (24 GB de mémoire vidéo chacun)
  • 1x NVIDIA A6000 (48 GB de mémoire vidéo)
  • 1x NVIDIA 5090 (32 GB de mémoire vidéo)

• Espace disque : SSD de taille suffisante pour le système et le modèle ;

• Logiciel : Pilotes NVIDIA et CUDA ;
• Consommation de mémoire vidéo : 28 GB avec un contexte de 2K tokens ;
• Surveillance du système : Vérifications automatiques des pilotes et des conteneurs.

Prise en main après le déploiement de Gemma-3-27B¶

Après le paiement, un e-mail sera envoyé à l'adresse enregistrée indiquant que le serveur est prêt pour l'utilisation. Il contiendra l'adresse IP du VPS, ainsi que l'identifiant et le mot de passe pour accéder au serveur et un lien pour accéder au panneau OpenWebUI. Les clients de notre entreprise gèrent leur équipement dans le panneau de gestion du serveur et via l'API — Invapi.

• Les données d'authentification pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyées dans l'e-mail reçu.

• Lien pour accéder au panneau de contrôle Ollama avec l'interface web Open Web UI : Dans le tag webpanel sous l'onglet *Configuration >> Tags du panneau de contrôle Invapi. Le lien exact sous la forme https://gemma<Server_ID_from_Invapi>.hostkey.in est envoyé par e-mail lors de la mise à disposition du serveur.

Après avoir cliqué sur le lien du tag webpanel, une fenêtre de connexion Get started with Open Web UI s'ouvrira, où vous devrez créer un nom de compte administrateur, une adresse e-mail et un mot de passe pour votre chatbot, puis appuyer sur le bouton Create Admin Account :

Commander un serveur avec Gemma-3-27B via API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.