Phi-4-14b¶

Dans cet article

• Fonctionnalités principales de Phi-4-14b
• Fonctionnalités de déploiement
• Configuration système et caractéristiques techniques
• Prise en main après le déploiement de Phi-4-14b
• Commande d'un serveur avec Phi-4-14b via l'API

Fonctionnalités principales de Phi-4-14b¶

• Architecture de base puissante : le modèle dispose de 14 milliards de paramètres et d'une fenêtre de contexte de 16 000 jetons, lui permettant de traiter des textes longs et des tâches complexes avec une grande précision ;

• Interface Open Web UI conviviale : fournit une interface web moderne pour interagir avec le modèle, incluant l'historique des chats, les paramètres et la gestion de différents modèles dans une seule interface ;

• Capacités RAG avancées : prise en charge intégrée de la recherche de documents dans divers formats (PDF, PPT, fichiers texte) et du web scraping, permettant au modèle de travailler avec des informations actuelles et des données utilisateur ;

• Multitâche : le modèle gère efficacement diverses tâches, y compris la gestion de dialogue, la réponse aux questions, l'analyse de données, la création de texte et la programmation de base ;

• Sécurité et précision : le modèle a subi un entraînement en plusieurs étapes tenant compte des préférences des utilisateurs sous supervision d'experts, garantissant une grande précision des réponses, le respect des normes éthiques et le suivi des instructions des utilisateurs ;

• Ouverture et flexibilité : grâce au code open source d'Ollama, le système peut être configuré et modifié pour des besoins spécifiques, y compris l'intégration avec d'autres outils et services ;

• Prise en charge de divers types de données : le modèle est capable de travailler avec des données textuelles, du code, des données structurées et semi-structurées, élargissant son applicabilité dans divers domaines.

• Exemples d'utilisation :

  • Support client : automatisation des réponses aux questions des utilisateurs ;

  • Éducation : création de matériel pédagogique, assistance dans la résolution de tâches ;

  • Marketing : génération de textes publicitaires, analyse des avis ;

  • Développement logiciel : création et documentation de code.

Fonctionnalités de déploiement¶

• Le temps d'installation est de 15 à 30 minutes avec le système d'exploitation ;

• Le serveur Ollama charge et exécute le LLM en mémoire ;

• Open WebUI est déployé en tant qu'application web connectée au serveur Ollama ;

• Les utilisateurs interagissent avec le LLM via l'interface web d'Open WebUI, envoyant des requêtes et recevant des réponses ;

• Tous les calculs et le traitement des données se produisent localement sur le serveur. Les administrateurs peuvent configurer le LLM pour des tâches spécifiques à l'aide des outils OpenWebUI.

Configuration système et caractéristiques techniques¶

• Accélérateur graphique : NVIDIA A4000 (ou plus puissant) ou un équivalent AMD avec au moins 16 Go de mémoire vidéo ;

• Espace disque : suffisant pour l'installation du système, des pilotes et du modèle ;

• Pilotes : pilotes NVIDIA et CUDA pour un fonctionnement correct du GPU ;

• Consommation de mémoire vidéo : 12 Go pour un contexte de 2K jetons ;

• Redémarrage automatique : le redémarrage automatique du conteneur est configuré en cas de défaillance ;

• Prise en charge du GPU : intégration complète avec NVIDIA CUDA pour des performances maximales.

Prise en main après le déploiement de Phi-4-14b¶

Après le paiement, une notification de commande sera envoyée à l'adresse e-mail indiquée lors de l'inscription, indiquant que le serveur est prêt à l'emploi. Elle inclura l'adresse IP du VPS, ainsi que le nom d'utilisateur et le mot de passe pour se connecter au serveur et un lien pour accéder au panneau OpenWebUI. Les clients de notre entreprise gèrent l'équipement dans le panneau de contrôle de gestion des serveurs et de l'API — Invapi.

• Données de connexion pour accéder au système d'exploitation du serveur (par exemple, via SSH) vous seront envoyées dans l'e-mail reçu.

• Lien d'accès au panneau de gestion Ollama avec l'interface web Open WebUI : dans la balise webpanel dans l'onglet Configuration >> Tags du panneau de contrôle Invapi. Le lien exact au format https://phi<Server_ID_from_Invapi>.hostkey.in sera envoyé par e-mail lors de la livraison du serveur.

Après avoir cliqué sur le lien de la balise webpanel, une fenêtre de connexion Get started with Open WebUI s'ouvrira, où vous devrez créer un nom de compte administrateur, un e-mail et un mot de passe pour votre chatbot, puis appuyer sur le bouton Create Admin Account :

Commande d'un serveur avec Phi-4-14b via l'API¶