OmniRoute¶

In dit artikel

• Belangrijkste functies van OmniRoute
• Implementatiefuncties
• Aan de slag na de OmniRoute-implementatie
• Verbinding en initiële configuratie
• Een server met OmniRoute bestellen via API

Belangrijkste functies van OmniRoute¶

• Unified API: U hoeft de code niet voor elke nieuwe provider opnieuw te schrijven. OmniRoute accepteert verzoeken in een standaardformaat (bijv. OpenAI-compatibel) en vertaalt deze automatisch naar het vereiste formaat voor de geselecteerde backend.
• Smart Routing
  • Fallback: Als de primaire provider (bijv. OpenAI) een fout retourneert of een time-out overschrijdt, leidt de proxy het verzoek onmiddellijk en naadloos om naar een fallback-provider (bijv. Anthropic of een lokaal model) zonder dat de gebruiker dit merkt.
  • Load Balancing: Verdeelt verzoeken tussen meerdere API-sleutels of accounts om de rate limits van een enkele sleutel te omzeilen.
  • Routing op basis van kosten of latentie: Eenvoudige verzoeken kunnen automatisch worden doorgestuurd naar goedkopere en snellere modellen, terwijl complexe verzoeken naar flagship-modellen worden gestuurd.
• Geavanceerde Caching: Ondersteunt zowel exacte matches als semantische caching. Als een vergelijkbaar verzoek al is verwerkt, geeft OmniRoute het gecachte antwoord terug, wat de latentie en de token-kosten drastisch verlaagt.
• Kostenbeheer en Analyse: Ingebouwde realtime monitoring: tellen van tokenverbruik, schatting van de kosten per verzoek, het bijhouden van de responstijd (TTFT — Time To First Token) en dashboards voor het analyseren van de efficiëntie van verschillende modellen.
• Beveiliging en Toegangscontrole: Centrale opslag en rotatie van de API-sleutels van providers (sleutels worden niet opgeslagen in de code van de client-applicatie). Mogelijkheden voor verholdsfiltering: maskering van PII (Personally Identifiable Information), bescherming tegen prompt injection en het instellen van gebruikslimieten voor verschillende gebruikers of teams.

Implementatiefuncties¶

Aan de slag na de OmniRoute-implementatie¶

Na betaling wordt er een melding over de gereedheid van de server verzonden naar het e-mailadres dat tijdens de registratie is opgegeven. Deze melding bevat het VPS IP-adres, evenals de login en het wachtwoord voor de verbinding. Klanten kunnen hun hardware beheren in het server- en API-beheerpaneel — Invapi.

Toegangsgegevens zijn te vinden in het tabblad Info >> Tags van het serverbeheerpaneel of in de verzonden e-mail:

• Web Interface Control Panel Link: in de webpanel tag;
• Wachtwoord: voor de administrator - verzonden via e-mail wanneer de server is geleverd;

Verbinding en initiële configuratie¶

Nadat u op de link in de webpanel tag heeft geklikt, wordt het inlogvenster geopend.

Nadat u het wachtwoord heeft ingevoerd, wordt u doorgeleid naar het hoofdbeheerscherm van OmniRoute.

U kunt nu beginnen met werken in OmniRoute.

Een server met OmniRoute bestellen via API¶

Volg deze instructies om deze software via de API te installeren.