OmniRoute¶

Dans cet article

• Fonctionnalités clés d'OmniRoute
• Fonctionnalités de déploiement
• Prise en main après le déploiement d'OmniRoute
• Connexion et configuration initiale
• Commander un serveur avec OmniRoute via l'API

Fonctionnalités clés d'OmniRoute¶

• API unifiée. Vous n'avez pas besoin de réécrire le code pour chaque nouveau fournisseur. OmniRoute accepte les requêtes dans un format standard (par exemple, compatible OpenAI) et les traduit automatiquement dans le format requis pour le backend sélectionné.
• Routage intelligent
  • Fallback : Si le fournisseur principal (par exemple, OpenAI) renvoie une erreur ou dépasse un délai d'attente, le proxy redirige instantanément et de manière transparente la requête vers un fournisseur de secours (par exemple, Anthropic ou un modèle local) sans que l'utilisateur ne s'en aperçoive.
  • Équilibrage de charge : Répartit les requêtes entre plusieurs clés API ou comptes pour contourner les limites de débit d'une seule clé.
  • Routage basé sur le coût ou la latence : Les requêtes simples peuvent être automatiquement routées vers des modèles moins chers et plus rapides, tandis que les requêtes complexes sont envoyées vers les modèles phares.
• Mise en cache avancée. Prend en charge le cache par correspondance exacte et le cache sémantique. Si une requête similaire a déjà été traitée, OmniRoute renvoie la réponse mise en cache, ce qui réduit considérablement la latence et les coûts de tokens.
• Gestion des coûts et analyses. Surveillance intégrée en temps réel : comptage de l'utilisation des tokens, estimation du coût des requêtes, suivi du temps de réponse (TTFT — Time To First Token) et tableaux de bord pour analyser l'efficacité des différents modèles.
• Sécurité et contrôle d'accès. Stockage et rotation centralisés des clés API des fournisseurs (les clés ne sont pas stockées dans le code de l'application client). Capacités de filtrage des requêtes : masquage des PII (informations personnellement identifiables), protection contre l'injection de prompt et définition de limites d'utilisation pour différents utilisateurs ou équipes.

Fonctionnalités de déploiement¶

Prise en main après le déploiement d'OmniRoute¶

Après le paiement, une notification concernant la disponibilité du serveur sera envoyée à l'adresse e-mail fournie lors de l'inscription. Cette notification comprendra l'adresse IP du VPS, ainsi que l'identifiant et le mot de passe de connexion. Les clients peuvent gérer leur matériel dans le panneau de contrôle du serveur et de l'API — Invapi.

Les données d'autorisation peuvent être trouvées dans l'onglet Info >> Tags du panneau de contrôle du serveur ou dans l'e-mail envoyé :

• Lien du panneau de contrôle de l'interface Web : dans le tag webpanel ;
• Mot de passe : pour l'administrateur - envoyé par e-mail lors de la livraison du serveur ;

Connexion et configuration initiale¶

Après avoir cliqué sur le lien de la tag webpanel , la fenêtre de connexion s'ouvrira.

Après avoir saisi le mot de passe, vous serez redirigé vers l'écran de gestion principal d'OmniRoute.

Vous pouvez maintenant commencer à travailler avec OmniRoute.

Commander un serveur avec OmniRoute via l'API¶

Pour installer ce logiciel en utilisant l'API, suivez ces instructions.