OmniRoute¶
En este artículo
Información
OmniRoute es una solución de software de código abierto que actúa como una capa de middleware entre su aplicación y varios proveedores de modelos de lenguaje de gran tamaño (LLM), como OpenAI, Anthropic, Google Gemini, Mistral, así como modelos desplegados localmente (a través de Ollama, vLLM, etc.). Su objetivo principal es abstraer la complejidad de trabajar con múltiples API proporcionando a los desarrolladores un único punto de entrada (normalmente totalmente compatible con el formato de la API de OpenAI) y gestionando inteligentemente el enrutamiento de las solicitudes.
Funcionalidades clave de OmniRoute¶
- API unificada: No es necesario reescribir el código para cada nuevo proveedor. OmniRoute acepta solicitudes en un formato estándar (por ejemplo, compatible con OpenAI) y las traduce automáticamente al formato requerido para el backend seleccionado.
- Enrutamiento inteligente
- Fallback: Si el proveedor principal (por ejemplo, OpenAI) devuelve un error o excede el tiempo de espera, el proxy redirige instantáneamente y sin interrupciones la solicitud a un proveedor de respaldo (por ejemplo, Anthropic o un modelo local) sin que el usuario lo note.
- Equilibrio de carga: Distribuye las solicitudes entre múltiples claves de API o cuentas para evitar los límites de velocidad de una sola clave.
- Enrutamiento basado en coste o latencia: Las solicitudes simples pueden enrutarse automáticamente a modelos más baratos y rápidos, mientras que las solicitudes complejas se envían a los modelos insignia.
- Caché avanzada: Admite tanto el caché de coincidencia exacta como el semántico. Si una solicitud similar ya ha sido procesada, OmniRoute devuelve la respuesta almacenada en caché, lo que reduce drásticamente la latencia y los costes de tokens.
- Gestión de costes y analíticas: Monitorización integrada en tiempo real: recuento de uso de tokens, estimación del coste de la solicitud, seguimiento del tiempo de respuesta (TTFT — Time To First Token) y paneles para analizar la eficiencia de los diferentes modelos.
- Seguridad y control de acceso: Almacenamiento centralizado y rotación de las claves de API de los proveedores (las claves no se almacenan en el código de la aplicación cliente). Capacidades de filtrado de solicitudes: enmascaramiento de PII (información de identificación personal), protección contra la inyección de prompts y establecimiento de límites de uso para diferentes usuarios o equipos.
Funcionalidades de implementación¶
| ID | Nombre del Software | SO Compatible | VM | BM | VGPU | GPU | CPU Mín. (Núcleos) | RAM Mín. (GB) | HDD/SSD Mín. (GB) | Dominio Personalizado | Activo |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 654 | OmniRoute | Ubuntu 24.04 | + | + | + | + | 1 | 2 | 20 | No | PEDIR |
Nota
A menos que se especifique lo contrario, instalamos por defecto la última versión de lanzamiento del software desde el sitio web del desarrollador o desde los repositorios del sistema operativo.
Primeros pasos tras el despliegue de OmniRoute¶
Tras el pago, se enviará una notificación sobre la preparación del servidor a la dirección de correo electrónico proporcionada durante el registro. Esta notificación incluirá la dirección IP del VPS, así como el usuario y la contraseña para la conexión. Los clientes pueden gestionar su hardware en el panel de control de servidores y API — Invapi.
Los datos de autorización se pueden encontrar en la pestaña Info >> Tags del panel de control del servidor o en el correo electrónico enviado:
- Enlace al panel de control de la interfaz web: en la etiqueta webpanel;
- Contraseña: para el administrador - enviada por correo electrónico cuando se entrega el servidor;
Conexión y configuración inicial¶
Tras hacer clic en el enlace de la etiqueta webpanel, se abrirá la ventana de inicio de sesión.
Tras introducir la contraseña, se le redirigirá a la pantalla principal de gestión de OmniRoute.
Información
Tenga en cuenta que debe cambiar la contraseña de administrador después de su inicio de sesión inicial en la aplicación. En la pantalla principal aparecerá una advertencia e instrucciones para el cambio.
Ya puede empezar a trabajar con OmniRoute.
Nota
Puede encontrar información detallada sobre la configuración principal de OmniRoute en la documentación del desarrollador.
Pedir un servidor con OmniRoute mediante API¶
Para instalar este software utilizando la API, siga estas instrucciones.