gpt-oss-20b¶
Այս հոդվածում
Տեղեկատվություն
gpt-oss-20b-ը OpenAI-ի միջին չափի բաց քաշով մոդել է, նախատեսված ցածր լատենտությամբ արդյունավետ աշխատանքի համար տեղական տեղակայումների կամ մասնագիտացված օգտագործման դեպքերում։ Մոդելն ունի 20 միլիարդ պարամետր, որոնցից 3.6 միլիարդը ակտիվ են, ինչը թույլ է տալիս այն աշխատեցնել ռեսուրսներով սահմանափակված սարքավորումներում, օրինակ՝ 16 ԳԲ հիշողությամբ սարքերում։ Այն կարող է տեղակայվել տեղական մակարդակով, ներառյալ սպառողական դասի սարքավորումներում։
gpt-oss-20b-ի հիմնական հնարավորությունները¶
- Օպտիմալացված ճարտարապետություն. gpt-oss-20b մոդելն ունի 20 միլիարդ ընդհանուր պարամետր և ակտիվացնում է միայն 3.6 միլիարդը՝ ապահովելով բարձր արդյունավետություն՝ միաժամանակ ռեսուրսները արդյունավետ օգտագործելով։
- Ընդլայնված գործակալական հնարավորություններ. Մոդելը ներառում է ներկառուցված հնարավորություններ ֆունկցիաների կանչման, վեբ էջերի դիտման, Python կոդի կատարման և կառուցվածքային ելքերի գեներացման համար։ Այն աչքի է ընկնում խնդիրների լուծման և գործիքների կանչման գործում։
- Պատճառահետևանքային մտածողություն՝ կարգավորելի ինտենսիվությամբ. Ֆունկցիոնալ առումով մոդելը հուսալի խնդիրների լուծիչ է, որը աջակցում է մտածողության շղթայի նման մեթոդներին։ Այն առաջարկում է երեք կարգավորելի պատճառահետևանքային մտածողության ինտենսիվության մակարդակ։
- Արդյունավետություն և համատեղելիություն. gpt-oss-20b մոդելը ցուցաբերում է արդյունքներ, որոնք համեմատելի են OpenAI o3-mini-ի հետ սովորական չափանիշներով։ Օպտիմալացման շնորհիվ այն կարող է աշխատել եզրային սարքերում՝ 16 ԳԲ հիշողությամբ։
- Բազմալեզու աջակցություն. Մոդելն ունի բազմալեզու ֆունկցիոնալություն։ Օպտիմալ արդյունքների համար խորհուրդ է տրվում ակնհայտորեն նշել նպատակային լեզուն և փոխազդեցության մշակութային համատեքստը։
- Տվյալների քվանտացիա. MXFP4 ֆորմատի աջակցությունը ապահովում է մոդելի արդյունավետ աշխատանքը ռեսուրսներով սահմանափակված սարքավորումներում՝ բարձրացնելով համակարգի ընդհանուր արդյունավետությունը։
Տեղակայման հնարավորություններ¶
| ID | Համատեղելի օպերացիոն համակարգ | VM | BM | VGPU | GPU | Min CPU (Կորեր) | Min RAM (ԳԲ) | Min HDD/SSD (ԳԲ) | Active |
|---|---|---|---|---|---|---|---|---|---|
| 345 | Ubuntu 22.04 GPU | - | - | + | + | 8 | 60 | 15 | ORDER |
Տեղակայման տեխնիկական բնութագրերը.
- Ubuntu 22.04՝ 6-րդ տարբերակի թարմացված միջուկով.
- Վերջին Nvidia դրայվերներ.
- CUDA Toolkit.
- Ollama՝ մոդելները կառավարելու համար.
- OpenWebUI՝ վեբ ինտերֆեյսի համար։
Տեղակայման առանձնահատկությունները.
- Տեղակայման ժամանակը 25-45 րոպե է՝ ներառյալ օպերացիոն համակարգի կարգավորումը.
- Ollama սերվերը բեռնում և աշխատեցնում է gpt-oss-20b մոդելը GPU/RAM հիշողության մեջ.
- Open WebUI-ն տեղակայվում է որպես վեբ հավելված, որը միացված է Ollama սերվերին.
- Օգտատերերը փոխազդում են մոդելի հետ Open WebUI վեբ ինտերֆեյսի միջոցով՝ ծրագրավորման և գործակալական խնդիրների համար.
- Բոլոր հաշվարկները և կոդի մշակումը տեղի են ունենում տեղական մակարդակով սերվերի վրա.
- Համակարգչային վարչակազմը կարող է կարգավորել մոդելը կոնկրետ զարգացման խնդիրների համար՝ օգտագործելով OpenWebUI գործիքները.
- Տարբեր քվանտացիայի մակարդակների աջակցություն՝ հիշողության օգտագործումը օպտիմալացնելու համար։
Սկսել gpt-oss-20b-ի տեղակայումից հետո¶
Վճարումից հետո սերվերի պատրաստ լինելու մասին ծանուցում կուղարկվի պատվերի ընթացքում գրանցված էլ. փոստին։ Այն կներառի VPS IP հասցեն, մուտքի անունը և գաղտնաբառը սերվերին մուտք գործելու համար, ինչպես նաև OpenWebUI կառավարման վահանակի հղումը։ Հաճախորդները սարքավորումները կառավարում են Սերվերի կառավարման վահանակի և API-ի միջոցով — Invapi։
- Օպերացիոն համակարգի սերվերին մուտքի հավատարմագրերը (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ստացված էլ. փոստով։
- Հղում Ollama կառավարման վահանակին Open WebUI վեբ ինտերֆեյսով. webpanel թեգում՝ Invapi-ի կառավարման վահանակի Configuration >> Tags թաբում։ Ճշգրիտ հղումը, օրինակ՝
https://gpt-oss<Server_ID_from_Invapi>.hostkey.in, տրվում է սերվերի հանձնման ժամանակ ուղարկված էլ. փոստով։
webpanel թեգի հղումը առաջին անգամ այցելելիս կբացվի ողջույնի էջ։ Սեղմեք Get started կոճակը՝ կարգավորումը սկսելու համար։
webpanel թեգի հղումը սեղմելուց հետո կբացվի Get started with Open WebUI մուտքի պատուհան, որտեղ անհրաժեշտ է ստեղծել Ձեր չատբոտի վարչակազմի հաշվի անունը, էլ. փոստը և գաղտնաբառը, այնուհետև սեղմել Create Admin Account կոճակը.
Զգուշացում
Առաջին օգտատիրոջ գրանցումից հետո համակարգը ավտոմատ կերպով նշանակում է նրան վարչակազմի դեր։ Անվտանգությունն ու գրանցման գործընթացի վերահսկողությունը ապահովելու համար բոլոր հաջորդ գրանցման դիմումները պետք է հաստատվեն OpenWebUI-ում վարչակազմի հաշվից։
Հաջող գրանցումից հետո կբացվի Open WebUI-ի հիմնական ինտերֆեյսը՝ Gpt-oss-20b-ին մուտքի հնարավորությամբ.
Նշում
Ollama կառավարման վահանակի Open WebUI-ով օգտագործման մանրամասն տեղեկատվությունը կարելի է գտնել Ձեր սեփական սերվերի վրա AI Չատբոտ հոդվածում։
Նշում
gpt-oss-20b մոդելի օպտիմալ աշխատանքի համար խորհուրդ է տրվում օգտագործել առնվազն 16 ԳԲ վիդեո հիշողությամբ GPU 20B մոդելի համար։ Երկար կոդային համատեքստերի և բարդ գործակալական խնդիրների արդյունավետ մշակման համար մենք խորհուրդ ենք տալիս օգտագործել 24 ԳԲ վիդեո հիշողությամբ GPU-ներ։ Ollama-ի հիմնական կարգավորումների և Open WebUI-ի մանրամասն տեղեկատվությունը կարելի է գտնել Ollama-ի մշակողների փաստաթղթերում և Open WebUI-ի մշակողների փաստաթղթերում։
Օգտագործման խորհուրդներ
gpt-oss 20B մոդելի արդյունավետությունը մաքսիմալացնելու համար խորհուրդ է տրվում.
- Օգտագործել մոդելը պատճառահետևանքային մտածողության խնդիրների համար, ներառյալ մտածողության շղթայի մշակումը։ Մոդելը աջակցում է կարգավորելի պատճառահետևանքային մտածողության մակարդակներ՝ ցածր, միջին և բարձր, որոնք կարգավորվում են համակարգի պրոմպտի միջոցով։
- Օգտագործել մոդելի ներկառուցված գործակալական հնարավորությունները, ինչպիսիք են ֆունկցիաների կանչումը, Python կոդի կատարումը և կառուցվածքային ելքերը։
- Օգտագործել մոդելը բազմաստիճան զարգացման խնդիրների համար՝ օգտագործելով դրա գործակալական հնարավորությունները։
- Միավորել մոդելը գոյություն ունեցող զարգացման գործիքների հետ API-ի միջոցով, հաշվի առնելով, որ այն աջակցում է ճշգրտմանը և աշխատում է OpenAI Harmony պատասխանի ֆորմատով։ Մոդելը նախատեսված է ցածր լատենտությամբ արդյունավետ տեղակայման համար, ներառյալ տեղական մակարդակով։
Պատվիրել սերվեր gpt-oss-20b-ով API-ի միջոցով¶
Այս ծրագրային ապահովումը տեղակայելու համար API-ի միջոցով հետևեք այս հրահանգներին։