description: Documentation and FAQs - Llama-3.3-70B - Most Useful Information in the HOSTKEY Company's Information Section¶

Llama-3.3-70B¶

Dans cet article

• Fonctionnalités de déploiement
• Fonctionnalités de déploiement
• Exigences système et spécifications techniques
• Démarrage après déploiement de Llama-3.3-70B
• Commande d'un serveur avec Llama-3.3-70B via API

Fonctionnalités de déploiement¶

• Architecture haute performance : le modèle dispose de 70 milliards de paramètres et est optimisé pour traiter des tâches complexes avec une précision inégalée grâce aux technologies modernes de calcul distribué;

• Intégration avec Open Web UI : un interface web moderne disponible sur le port 8080, assurant un contrôle total sur les données, les ressources informatiques et les processus de traitement;

• Calcul distribué : support avancé pour des configurations multi-cartes avec équilibrage automatique de charge entre plusieurs GPU;

• Évolutivité : capacité à mettre horizontalement à l'échelle en ajoutant des GPUs supplémentaires pour augmenter les performances;

• Performance : utilisation de la technologie LLAMA_FLASH_ATTENTION pour optimiser les calculs et accélérer le traitement des requêtes;

• Tolérance aux pannes : un système de récupération automatique assure une opération continue.

• Exemples d'utilisation :

  • Service client : automatisation des réponses aux requêtes des utilisateurs;

  • Éducation : création de matériaux éducatifs, assistance dans la résolution de problèmes;

  • Marketing : génération de textes publicitaires, analyse d'avis;

  • Développement logiciel : création et documentation de code.

Fonctionnalités de déploiement¶

• Temps d'installation de 15 à 30 minutes incluant le système d'exploitation;

• Le serveur Ollama charge et exécute le LLM en mémoire;

• Open WebUI est déployé sous forme d'une application web connectée au serveur Ollama;

• Les utilisateurs interagissent avec le LLM via l'interface web Open WebUI, envoyant des requêtes et recevant des réponses;

• Configuration pour calcul distribué pour les systèmes multi-cartes;

• Système de surveillance de l'état du système, y compris la température et la performance GPU;

• Optimisation du travail parallèle de plusieurs accélérateurs graphiques;

• Toutes les opérations de calcul et traitement des données se déroulent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques via les outils OpenWebUI.

Exigences système et spécifications techniques¶

• Accélérateur graphique avec prise en charge CUDA (une des options, peut être meilleure) :

  • 1x NVIDIA H100
  • 2x NVIDIA A100 (48 Go de mémoire vidéo chacun)
  • 2x NVIDIA RTX 5090 (32 Go de mémoire vidéo chacun)
  • 2x NVIDIA A6000 (48 Go de mémoire vidéo chacun)
  • 3x NVIDIA RTX 4090 (24 Go de mémoire vidéo chacun)
  • 3x NVIDIA A5000 (24 Go de mémoire vidéo chacun)

• Espace disque : SSD de taille suffisante pour le système et le modèle;

• Logiciel : pilotes NVIDIA et CUDA;

• Utilisation de la mémoire vidéo : 53 Go avec un contexte de jeton 2K;

• Surveillance du système : vérification complète de l'état des pilotes, conteneurs, et température GPU.

Démarrage après déploiement de Llama-3.3-70B¶

Après paiement, un email sera envoyé à l'adresse e-mail enregistrée vous informant que le serveur est prêt pour le travail. Il inclura l'adresse IP du VPS ainsi que les informations d'identification pour se connecter au serveur et un lien pour accéder à OpenWebUI. Les clients de notre entreprise gèrent l'équipement via le panneau de gestion du serveur et API — Invapi.

• Données d'authentification pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyées par email.

• Lien pour l'accès au panneau de contrôle Ollama avec interface web Open WebUI : sous le tag webpanel dans la section Info >> Tags du console de gestion d'Invapi. Le lien exact sous la forme https://llama<Server_ID_from_Invapi>.hostkey.in vous sera envoyé par email à la remise du serveur.

Après avoir cliqué sur le lien depuis l'icône webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devez créer un nom d'utilisateur administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le Create Admin Account bouton:

Commande d'un serveur avec Llama-3.3-70B via API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.

Une partie du contenu de cette page a été créée ou traduite à l'aide d'IA.