LiteLLM¶

In dit artikel

LiteLLM. Belangrijkste functies

Implementatiefuncties

Aan de slag na de LiteLLM-implementatie

Verbinding en initiële configuratie

Een server met LiteLLM bestellen via API

Informatie

LiteLLM is een populaire open-source Python-bibliotheek en proxy-server die een uniforme, OpenAI-compatibele interface biedt voor het aanroepen van API's van meer dan 100 verschillende Large Language Models (LLM's).

LiteLLM. Belangrijkste functies¶

Uniforme API (OpenAI-compatibiliteit). Om te wisselen van gpt-4o naar claude-3-5-sonnet of een lokale llama-3, hoeft u alleen een enkele regel te wijzigen (de model parameter) zonder de logica van uw applicatie te herschrijven.
Enorm provider-ecosysteem. Ondersteunt standaard meer dan 100 providers: OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq en vele anderen.
Kosten- en budgetbeheer (Cost Tracking). Ingebouwde nauwkeurige berekening van de kosten van elke aanvraag in dollars (of tokens). U kunt strikte uitgavenlimieten (budgetten) instellen voor individuele gebruikers, API-sleutels of teams om onverwachte rekeningen te voorkomen.
Fouttolerantie (Fallbacks en Retries). Als de primaire API niet beschikbaar is, een fout retourneert of een rate limit bereikt, kan LiteLLM automatisch opnieuw proberen of naadloos overschakelen naar een fallback-model of een andere provider zonder dat de gebruiker dit merkt.
Load Balancing. Hiermee kunt u verzoeken verdelen over meerdere API-sleutels van dezelfde provider of verschillende implementaties van hetzelfde model om rate limits effectief te omzeilen.
Observability en logging. Naadloze integratie met populaire monitoring- en debugtools (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone) om latentie, fouten en kosten in realtime bij te houden.
Asynchroniteit en streaming. Volledige ondersteuning voor asynchrone aanroepen (asyncio) en response streaming voor alle ondersteunde providers, wat cruciaal is voor het maken van snelle en responsieve chat-interfaces.

Implementatiefuncties¶

ID	Softwarenaam	Compatibel OS	VM	BM	VGPU	GPU	Min CPU (Kernen)	Min RAM (GB)	Min HDD/SSD (GB)	Aangepast Domein	Actief
657	LiteLLM	Ubuntu 24.04	+	+	+	+	1	4	20	Nee	BESTELLEN

Opmerking

Tenzij anders aangegeven, installeren we standaard de nieuwste releaseversie van de software vanaf de website van de ontwikkelaar of de repositories van het besturingssysteem.

Aan de slag na de LiteLLM-implementatie¶

Na betaling wordt er een melding over de gereedheid van de server verzonden naar het e-mailadres dat tijdens de registratie is opgegeven. Deze bevat het VPS IP-adres, evenals de login en het wachtwoord voor de verbinding. Klanten kunnen hun hardware beheren in het server- en API-beheerpaneel — Invapi.

De autorisatiedata zijn te vinden in het tabblad Config >> Tags van het serverbeheerpaneel of in de verzonden e-mail:

Link naar webinterface beheerpaneel: in de webpanel tag;
Login: admin;
Wachtwoord: voor de administrator - verzonden via e-mail naar uw e-mailadres bij levering van de server;

Verbinding en initiële configuratie¶

Nadat u op de link in de webpanel tag heeft geklikt, wordt het inlogvenster geopend.

Nadat u uw login en wachtwoord heeft ingevoerd, wordt u doorgeleid naar het hoofdbeheerscherm van LiteLLM.

Informatie

Houd er rekening mee dat u het administrator-wachtwoord moet wijzigen na uw eerste login bij de applicatie. Een waarschuwing en instructies voor de wijziging worden op het hoofdscherm weergegeven.

U kunt nu beginnen met werken in LiteLLM. Houd er rekening mee dat het toevoegen van extra gebruikers pas beschikbaar is nadat de e-mailbezorgdienst is geconfigureerd.

Opmerking

Gedetailleerde informatie over de belangrijkste LiteLLM-instellingen is te vinden in de documentatie van de ontwikkelaar.

Een server met LiteLLM bestellen via API¶

Volg deze instructies om deze software via de API te installeren.