LiteLLM¶

En este artículo

• LiteLLM. Funcionalidades principales
• Funcionalidades de implementación
• Primeros pasos tras la implementación de LiteLLM
• Conexión y configuración inicial
• Pedir un servidor con LiteLLM vía API

LiteLLM. Funcionalidades principales¶

• API unificada (compatibilidad con OpenAI). Para cambiar de gpt-4o a claude-3-5-sonnet o a un llama-3 local, solo necesita cambiar una única línea (el parámetro model) sin reescribir la lógica de su aplicación.
• Ecosistema masivo de proveedores. Soporta más de 100 proveedores de forma nativa: OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq y muchos otros.
• Gestión de costes y presupuesto (seguimiento de costes). Cálculo preciso integrado del coste de cada solicitud en dólares (o tokens). Puede establecer límites de gasto estrictos (presupuestos) para usuarios individuales, claves de API o equipos para evitar facturas inesperadas.
• Tolerancia a fallos (fallbacks y reintentos). Si la API principal no está disponible, devuelve un error o alcanza un límite de tasa (rate limit), LiteLLM puede reintentar automáticamente o cambiar sin interrupciones a un modelo de respaldo (fallback) o a un proveedor diferente sin que el usuario lo note.
• Equilibrio de carga. Le permite distribuir las solicitudes entre múltiples claves de API del mismo proveedor o diferentes implementaciones del mismo modelo para eludir eficazmente los límites de tasa.
• Observabilidad y registro. Integración fluida con herramientas populares de monitorización y depuración (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone) para rastrear la latencia, los errores y los costes en tiempo real.
• Asincronía y streaming. Soporte completo para llamadas asíncronas (asyncio) y streaming de respuestas para todos los proveedores compatibles, lo cual es crítico para crear interfaces de chat rápidas y receptivas.

Funcionalidades de implementación¶

Primeros pasos tras la implementación de LiteLLM¶

Tras el pago, se enviará una notificación sobre la preparación del servidor a la dirección de correo electrónico proporcionada durante el registro. Esta contendrá la dirección IP del VPS, así como el usuario y la contraseña para la conexión. Los clientes pueden gestionar su hardware en el panel de control de servidores y API — Invapi.

Los datos de autorización se pueden encontrar en la pestaña Config >> Tags del panel de control del servidor o en el correo electrónico enviado:

• Enlace al panel de control de la interfaz web: en la etiqueta webpanel ;
• Login: admin;
• Password: para el administrador - enviado por correo electrónico a su dirección de email tras la entrega del servidor;

Conexión y configuración inicial¶

Tras hacer clic en el enlace de la etiqueta webpanel , se abrirá la ventana de inicio de sesión.

Tras introducir su usuario y contraseña, se le redirigirá a la pantalla principal de gestión de LiteLLM.

Ya puede empezar a trabajar con LiteLLM. Tenga en cuenta que la adición de usuarios adicionales solo está disponible tras configurar el servicio de envío de correos electrónicos.

Pedir un servidor con LiteLLM vía API¶

Para instalar este software utilizando la API, siga estas instrucciones.