Gemma-3-27B¶

Dans cet article

• Fonctionnalités principales de Gemma-3-27B
• Fonctionnalités de déploiement
• Spécifications système et techniques requises
• Démarrage après le déploiement de Gemma-3-27B
• Commander un serveur avec Gemma-3-27B via l'API

Fonctionnalités principales de Gemma-3-27B¶

• Architecture haute performance : Le modèle dispose de 27 milliards de paramètres et est optimisé pour la gestion de tâches complexes avec une grande précision en utilisant les technologies modernes ;
• Intégration à Open Web UI : Fournit une interface web moderne pour interagir facilement avec le modèle via le port 8080, garantissant un contrôle total sur le traitement des données et des requêtes ;
• Évolutivité : Prend en charge les configurations multi-cartes et la répartition de la charge entre plusieurs GPU pour une performance optimale ;
• Sécurité et contrôle : Le déploiement local complet garantit la confidentialité des données, tandis que les paramètres OLLAMA_HOST et OLLAMA_ORIGINS assurent la sécurité du réseau ;
• Performance : Utilise la technologie LLAMA_FLASH_ATTENTION pour accélérer le traitement des requêtes et optimiser l'opération du modèle ;

• Fiabilité : Un système intégré de redémarrages automatiques des conteneurs et des services assure une opération stable.

• Exemples d'utilisation :

  • Support client : Automatisation des réponses aux questions des utilisateurs ;
  • Éducation : Création de matériel pédagogique, aide à la résolution de tâches ;
  • Marketing : Génération de textes publicitaires, analyse de critiques ;
  • Développement logiciel : Création et documentation du code.

Fonctionnalités de déploiement¶

• Temps d'installation : 15 à 30 minutes ensemble avec le système d'exploitation ;
• Le serveur Ollama charge et exécute le LLM en mémoire ;
• Open WebUI est déployé sous forme d'une application web connectée au serveur Ollama ;
• Les utilisateurs interagissent avec le LLM via l'interface web de l'Open WebUI, envoyant des requêtes et recevant des réponses ;
• Toutes les calculs et traitements de données se déroulent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques à l'aide d'outils OpenWebUI.

Spécifications système et techniques requises¶

• Accélérateur graphique avec prise en charge CUDA (une des options, peut être meilleure) :

  • 2x NVIDIA A4000 (16/24 Go de mémoire vidéo chacun)
  • 2x NVIDIA A5000 (24 Go de mémoire vidéo chacune)
  • 1x NVIDIA A6000 (48 Go de mémoire vidéo)
  • 1x NVIDIA 5090 (32 Go de mémoire vidéo)

• Espace disque : SSD de taille suffisante pour le système et le modèle ;

• Logiciel : Pilotes NVIDIA et CUDA ;
• Consommation de mémoire vidéo : 28 GB avec un contexte de jeton 2K ;
• Surveillance du système : Vérifications automatiques des pilotes et conteneurs.

Démarrage après le déploiement de Gemma-3-27B¶

Après paiement, un email sera envoyé à l'adresse enregistrée indiquant que le serveur est prêt pour le travail. Il inclura l'adresse IP du VPS ainsi que les identifiants d'accès au serveur et un lien pour accéder au panneau OpenWebUI. Les clients de notre entreprise gèrent l'équipement dans le panneau de gestion des serveurs et API — Invapi.

• Données d'authentification pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyées par email.

• Lien pour accéder au panneau de contrôle Ollama avec l'interface web Open WebUI : Dans le tag :fontawesome-solid-tags: *webpanel* dans la section Info >> Tags du panneau de contrôle Invapi. Le lien exact sous la forme https:gemma<Server_ID_from_Invapi>.hostkey.in est envoyé par email lorsque le serveur est mis à disposition.

Après avoir cliqué sur le lien depuis l'icône webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devez créer un nom d'utilisateur administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le Create Admin Account bouton:

Commander un serveur avec Gemma-3-27B via l'API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.

Certains des contenus de cette page ont été créés ou traduits avec l'aide d'une IA.