Phi-4-14b¶

Dans cet article

• Fonctionnalités de déploiement
• Fonctionnalités de déploiement
• Exigences système et caractéristiques techniques
• Démarrage après le déploiement de Phi-4-14b
• Commande d'un serveur avec Phi-4-14b via API

Fonctionnalités de déploiement¶

• Architecture de base puissante : le modèle a 14 milliards de paramètres et une fenêtre de contexte de 16 000 jetons, ce qui lui permet de traiter des textes longs et des tâches complexes avec une grande précision ;

• Interface utilisateur Web Open moderne et conviviale : fournit une interface web moderne pour interagir avec le modèle, y compris l'historique de chat, les paramètres, et la gestion de différents modèles dans une seule interface ;

• Fonctionnalités RAG avancées : prise en charge intégrée de la recherche de documents dans divers formats (PDF, PPT, fichiers texte) et du scraping web, permettant au modèle de travailler avec des informations actuelles et des données utilisateur ;

• Multitâches : le modèle gère efficacement diverses tâches, y compris la gestion du dialogue, la réponse aux questions, l'analyse de données, la création de texte et la programmation de base ;

• Sécurité et précision : le modèle a subi une formation en plusieurs étapes en tenant compte des préférences de l'utilisateur sous supervision d'experts, garantissant une haute précision des réponses, le respect des normes éthiques et la conformité aux instructions de l'utilisateur ;

• Ouverture et flexibilité : grâce au code source ouvert d'Ollama, le système peut être configuré et modifié pour répondre à des besoins spécifiques, y compris l'intégration avec d'autres outils et services ;

• Support de divers types de données : le modèle est capable de travailler avec des données textuelles, du code, ainsi que des données structurées et semi-structurées, élargissant son applicabilité dans différents domaines.

• Exemples d'utilisation

  • Service client : automatisation des réponses aux questions des utilisateurs ;

  • Éducation : création de matériel pédagogique, aide à la résolution de tâches ;

  • Marketing : génération de textes publicitaires, analyse d'avis ;

  • Développement logiciel : création et documentation de code.

Fonctionnalités de déploiement¶

• Le temps d'installation est de 15 à 30 minutes avec le système d'exploitation ;

• Le serveur Ollama charge et exécute le LLM en mémoire ;

• Open WebUI est déployé sous forme d'une application web connectée au serveur Ollama ;

• Les utilisateurs interagissent avec le LLM via l'interface web de Open WebUI, envoyant des requêtes et recevant des réponses ;

• Tous les calculs et traitements de données se produisent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques en utilisant les outils d'OpenWebUI.

Exigences système et caractéristiques techniques¶

• Accélérateur graphique : NVIDIA A4000 (ou plus puissant) ou équivalent AMD avec au moins 16 Go de mémoire vidéo ;

• Espace disque : suffisant pour installer le système, les pilotes, et le modèle ;

• Pilotes : pilotes NVIDIA et CUDA pour un fonctionnement correct du GPU ;

• Consommation de mémoire vidéo : 12 Go à un contexte de 2000 jetons ;

• Redémarrage automatique : redémarrage automatique du conteneur configuré en cas d'échec ;

• Support GPU : intégration complète avec NVIDIA CUDA pour une performance maximale.

Démarrage après le déploiement de Phi-4-14b¶

Après le paiement, une notification de commande sera envoyée par e-mail à l'adresse indiquée lors de l'enregistrement, indiquant que le serveur est prêt à être utilisé. Elle inclura l'adresse IP du VPS, ainsi que les identifiants pour se connecter au serveur et un lien pour accéder au panneau OpenWebUI. Nos clients gèrent l'équipement dans le panneau de gestion et de contrôle API — Invapi.

• Identifiants pour accéder à l'OS du serveur (par exemple, via SSH) vous seront envoyés par e-mail.

• Lien pour accéder au panneau de gestion d'Ollama avec l'interface WebUI OpenWebUI : dans le tag webpanel dans l'onglet Info >> Tags du panneau de contrôle Invapi. Le lien exact au format https://phi<Server_ID_from_Invapi>.hostkey.in vous sera envoyé par e-mail à la livraison du serveur.

Après avoir cliqué sur le lien depuis l'icône webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devez créer un nom d'utilisateur administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le Create Admin Account bouton:

Commande d'un serveur avec Phi-4-14b via API¶

Pour installer ce logiciel en utilisant l'API, suivez les instructions suivantes.

Une partie du contenu de cette page a été créée ou traduite à l'aide d'IA.