LiteLLM¶

Dans cet article

• LiteLLM. Fonctionnalités principales
• Fonctionnalités de déploiement
• Prise en main après le déploiement de LiteLLM
• Connexion et configuration initiale
• Commander un serveur avec LiteLLM via l'API

LiteLLM. Fonctionnalités principales¶

• API unifiée (compatibilité OpenAI). Pour passer de gpt-4o à claude-3-5-sonnet ou à un llama-3 local, il vous suffit de modifier une seule ligne (le paramètre model) sans réécrire la logique de votre application.
• Écosystème de fournisseurs massif. Prend en charge plus de 100 fournisseurs nativement : OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq, et bien d'autres.
• Gestion des coûts et du budget (Suivi des coûts). Calcul précis intégré du coût de chaque requête en dollars (ou en tokens). Vous pouvez définir des limites de dépenses strictes (budgets) pour les utilisateurs individuels, les clés API ou les équipes afin d'éviter les factures imprévues.
• Tolérance aux pannes (Fallbacks et Retries). Si l'API principale est indisponible, renvoie une erreur ou atteint une limite de débit (rate limit), LiteLLM peut automatiquement réessayer ou basculer de manière transparente vers un modèle de secours (fallback) ou un fournisseur différent sans que l'utilisateur ne s'en aperçoive.
• Équilibrage de charge (Load Balancing). Vous permet de répartir les requêtes entre plusieurs clés API d'un même fournisseur ou entre différentes instances du même modèle pour contourner efficacement les limites de débit.
• Observabilité et journalisation. Intégration transparente avec les outils de surveillance et de débogage populaires (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone) pour suivre la latence, les erreurs et les coûts en temps réel.
• Asynchronisme et Streaming. Prise en charge complète des appels asynchrones (asyncio) et du streaming de réponse pour tous les fournisseurs pris en charge, ce qui est essentiel pour créer des interfaces de chat rapides et réactives.

Fonctionnalités de déploiement¶

Prise en main après le déploiement de LiteLLM¶

Après le paiement, une notification concernant la disponibilité du serveur sera envoyée à l'adresse e-mail fournie lors de l'inscription. Elle contiendra l'adresse IP du VPS, ainsi que l'identifiant et le mot de passe de connexion. Les clients peuvent gérer leur matériel dans le panneau de contrôle du serveur et de l'API — Invapi.

Les données d'authentification se trouvent dans l'onglet Config >> Tags du panneau de contrôle du serveur ou dans l'e-mail envoyé :

• Lien vers le panneau de contrôle de l'interface web : dans le tag webpanel ;
• Login : admin;
• Password : pour l'administrateur - envoyé par e-mail à votre adresse lors de la livraison du serveur ;

Connexion et configuration initiale¶

Après avoir cliqué sur le lien de la tag webpanel, la fenêtre de connexion s'ouvrira.

Après avoir saisi votre login et votre mot de passe, vous serez redirigé vers l'écran de gestion principal de LiteLLM.

Vous pouvez maintenant commencer à utiliser LiteLLM. Veuillez noter que l'ajout d'utilisateurs supplémentaires n'est possible qu'après la configuration du service d'envoi d'e-mails.

Commander un serveur avec LiteLLM via l'API¶

Pour installer ce logiciel en utilisant l'API, suivez ces instructions.