LiteLLM¶

Այս հոդվածում

• LiteLLM. Հիմնական հնարավորությունները
• Տեղակայման հնարավորություններ
• Սկզբնական աշխատանք LiteLLM-ի տեղակայումից հետո
• Կապ և նախնական կարգավորում
• Սերվերի պատվիրում LiteLLM-ով API-ի միջոցով

LiteLLM. Հիմնական հնարավորությունները¶

• Միասնական API (OpenAI համատեղելիություն). gpt-4o-ից անցում կատարելու claude-3-5-sonnet-ին կամ տեղային llama-3-ին՝ ձեր հավելվածի տրամաբանությունը վերագրելու կարիք չկա. անհրաժեշտ է փոխել միայն մեկ տող (the model պարամետր):
• Մատակարարների հսկայական էկոհամակարգ. Ակնթարթորեն աջակցում է ավելի քան 100 մատակարարների՝ OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq և շատ այլ մատակարարների:
• Ծախսերի և բյուջեի կառավարում (Cost Tracking). Յուրաքանչյուր հարցման արժեքի ճշգրիտ ներկառուցված հաշվարկ դոլարներով (կամ թոքեններով): Դուք կարող եք սահմանել խստակ ծախսերի սահմաններ (բյուջեներ) առանձին օգտվողների, API keys-երի կամ թիմերի համար՝ անկանխատեսելի հաշիվներից խուսափելու համար:
• Պատասխանատվություն սխալներին (Fallbacks and Retries). Եթե հիմնական API-ն հասանելի չէ, սխալ է վերադարձնում կամ հասնում է սահմանաչափին (rate limit), LiteLLM-ը կարող է ավտոմատ կերպով կրկնել հարցումը կամ աննկատ անցում կատարել այլ մոդելի կամ այլ մատակարարի՝ առանց օգտվողի նկատառման:
• Բեռնի հավասարակշռում (Load Balancing). Թույլ է տալիս հարցումները բաշխել նույն մատակարարի մի քանի API keys-երի կամ նույն մոդելի տարբեր տեղակայումների միջև՝ արդյունավետորեն շրջանցելու սահմանաչափերը:
• Հետևողականություն և լոգավորում (Observability and Logging). Կահավորված ինտեգրում հայտնի մոնիթորինգի և հայտնաբերման գործիքների հետ (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone)՝ իրական ժամանակում լատենտություն, սխալներ և ծախսերը հետևելու համար:
• Ասինխրոնություն և սթրիմինգ (Streaming). Բոլոր աջակցվող մատակարարների համար ասինխրոն կանչերի (asyncio) և պատասխանի սթրիմինգի լիարժեք աջակցություն, ինչը կարևոր է արագ և արձագանքող չաթ-ինտերֆեյսեր ստեղծելու համար:

Տեղակայման հնարավորություններ¶

Սկզբնական աշխատանք LiteLLM-ի տեղակայումից հետո¶

Վճարումից հետո սերվերի պատրաստ լինելու մասին ծանուցումը կուղարկվի գրանցման ժամանակ նշված էլեկտրոնային հասցեին: Այն կպարունակի VPS IP հասցեն, ինչպեսզիք, և մուտքի ու գաղտնաբառը՝ կապման համար: Օգտվողները կարող են կառավարել իրենց սարքավորումները սերվերի և API կառավարման վահանակում — Invapi:

Ավտորիզացիայի տվյալները կարող են գտնվել սերվերի կառավարման վահանակի Config >> Tags թաբում կամ ուղարկված էլեկտրոնային նամակում՝

• Web interface control panel link: webpanel թեգում;
• Login: admin;
• Password: ադմինիստրատորի համար՝ ուղարկվում է էլեկտրոնային փոստով ձեր էլեկտրոնային հասցեին՝ սերվերի հանձնման պահին:

Կապ և նախնական կարգավորում¶

webpanel թեգի հղումը սեղմելուց հետո կբացվի մուտքի պատու窗口:

Ձեր login-ը և password-ը մուտքագրելուց հետո դուք կտեղափոխվեք LiteLLM-ի հիմնական կառավարման էկրան:

Դուք կարող եք սկսել աշխատել LiteLLM-ի հետ: Խնդրում ենք նկատի ունենալ, որ լրացուցիչ օգտվողներ ավելացնելը հասանելի է միայն էլեկտրոնային փոստի առաքման ծառայությունը կարգավորելուց հետո:

Սերվերի պատվիրում LiteLLM-ով API-ի միջոցով¶

Այս ծրագրային ապահովումը API-ի միջոցով տեղադրելու համար հետևեք այս հրահանգներին.