OmniRoute¶
Այս հոդվածում
Տեղեկատվություն
OmniRoute-ը բաց կոդով ծրագրային լուծում է, որը գործում է որպես միջանկյալ շեր (middleware) ձեր հավելվածի և տարբեր Large Language Model (LLM) պրովայդերների (օրինակ՝ OpenAI, Anthropic, Google Gemini, Mistral), ինչպես նաև տեղական տեղադրված մոդելների (Ollama-ի, vLLM-ի և այլն) միջև: Դրա հիմնական նպատակն է պարզեցնել բազմաթիվ API-ների հետ աշխատանքի բարդությունը՝ ծրագրավորողներին տրամադրելով մեկ մուտքի կետ (սովորաբար լիովին համատեղելի OpenAI API ֆորմատի հետ) և խելացի կերպով կառավարել հարցումների ուղղորդումը (routing):
OmniRoute-ի հիմնական հնարավորությունները¶
- Միասնական API. Ձեզ պետք չէ վերရေးծրագրել կոդը յուրաքանչյուր նոր պրովայդերի համար: OmniRoute-ը ընդունում է հարցումները ստանդարտ ֆորմատով (օրինակ՝ OpenAI-ին համատեղելի) և ավտոմատ կերպով թարգմանում դրանք ընտրված backend-ի համար անհրաժեշտ ֆորմատի:
- Խելացուկ ուղղորդում (Smart Routing)
- Fallback: Եթե հիմնական պրովայդերը (օրինակ՝ OpenAI) սխալ է վերադարձնում կամ գերազանցում է սպասման ժամանակը (timeout), պրոքսին ակնթարթորեն և անխափան փոխադրում է հարցումը fallback պրովայդերի (օրինակ՝ Anthropic կամ տեղական մոդել) մոտ՝ առանց օգտվողի նկատառման:
- Load Balancing: Բաշխում է հարցումները մի քանի API keys կամ հաշիվների միջև՝ մեկ բանալու սահմանված հաճախականության սահմանները (rate limits) շրջանցելու համար:
- Ուղղորդում՝ ըստ արժեքի կամ Latency-ի: Պարզ հարցումները կարող են ավտոմատ կերպով ուղղորդվել էժան և արագ մոդելներին, մինչդեռ բարդ հարցումները ուղարկվում են հիմնական (flagship) մոդելներին:
- Ընդլայնված քեշավորում (Caching). Աջակցում է ինչպես հստակ համընկնման, այնպես էլ սիմանտիկ քեշավորմանը: Եթե նմանատիպ հարցում արդեն մշակվել է, OmniRoute-ը վերադարձնում է քեշավորված պատասխանը, ինչը էապես նվազեցնում է Latency-ն և թոքենների ծախսերը:
- Արժեքների կառավարում և անալիտիկա. Ներկառուցված իրական ժամանակում մոնիթորինգ՝ թոքենների օգտագործման հաշվարկ, հարցման արժեքի գնահատում, պատասխանի ժամանակի հետևում (TTFT — Time To First Token) և վիճக்கարտեր (dashboards) տարբեր մոդելների արդյունավետությունը վերլուծելու համար:
- Անվտանգություն և մուտքի հսկողություն. Պրովայդերների API keys-ների կենտրոնացված պահպանում և պարբերական փոփոխություն (keys-երը չեն պահվում հաճախորդի հավելվածի կոդում): Հարցումների ֆիլտրման հնարավորություններ՝ PII (Անձնական տվյալներ) դիմակավորում, պաշտպանություն prompt injection-ից և օգտագործման սահմաններների սահմանում տարբեր օգտվողների կամ թիմերի համար:
Տեղակայման հնարավորություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 654 | OmniRoute | Ubuntu 24.04 | + | + | + | + | 1 | 2 | 20 | Ոչ | ՊԱՏՎԻՐԵԼ |
Նշում
Եթե այլ բան նախատեսված չէ, մենք լռելյայն տեղադրում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի պրոպուրկատուրներից:
OmniRoute տեղակայումից հետո սկսել աշխատանքը¶
Վճարումից հետո սերվերի պատրաստ լինելու մասին ծանուցումը կուղարկվի գրանցման ժամանակ նշված էլեկտրոնային հասցեին: Այդ ծանուցումը կներառի VPS IP հասցեն, ինչպես նաև մուտքի տվյալները (login և password) միացման համար: Հաճախորդները կարող են կառավարել իրենց սարքավորումները սերվերի և API կառավարման վահանակում — Invapi.
Ավտորիզացիայի տվյալները կարող եք գտնել սերվերի կառավարման վահանակի Info >> Tags թաբում կամ ուղարկված էլեկտրոնային նամակում.
- Web Interface Control Panel Link: webpanel թեգում;
- Password: ադմինիստրատորի համար՝ ուղարկվում է էլեկտրոնային նամակով, երբ սերվերը հանձնվում է:
Միացում և նախնական կարգավորում¶
Սկլացելով webpanel թեգի հղումը, կբացվի մուտքի պատու窗口:
Գաղտնաբառը մուտքագրելուց հետո դուք կուղղորդվեք OmniRoute-ի հիմնական կառավարման էկրանին:
Տեղեկատվություն
Խնդրում ենք նկատի ունենալ, որ հավելվածում առաջին անգամ մուտք գալուց հետո դուք պետք է փոխեք ադմինիստրատորի գաղտնաբառը: Հիմնական էկրանին կհայտնվի նախազգուշացում և հրահանգներ փոփոխությունն իրականացնելու համար:
Դուք կարող եք սկսել աշխատել OmniRoute-ի հետ:
Նշում
OmniRoute-ի հիմնական կարգավորումների վերաբերյալ մանրամասն տեղեկատվությունը կարող եք գտնել ծրագրավորողի փաստաթղթերում.
Սերվերի պատվիրում OmniRoute-ով API-ի միջոցով¶
Այս ծրագրային ապահովումը API-ի միջոցով տեղադրելու համար հետևեք այս հրահանգներին.