gpt-oss-120b¶
Այս հոդվածում
Տեղեկատվություն
gpt-oss-120b-ն OpenAI-ի բաց կշիռներով մեծածավալ մոդել է, նախատեսված բարձր արդյունավետությամբ աշխատանքների համար, որոնք պահանջում են խորը տրամաբանություն, բազմաքայլ պլանավորում և գործիքների հետ բարդ փոխազդեցություն։ Մոդելը պարունակում է 120 միլիարդ պարամետր, որոնցից մոտավորապես 21 միլիարդը ակտիվանում են յուրաքանչյուր անցման ընթացքում՝ ապահովելով հաշվողական հզորության և արդյունավետության հավասարակշռություն։ Խորհրդատվական քվանտացման մեթոդների և օպտիմալացման շնորհիվ gpt-oss-120b-ն կարող է տեղակայվել 70 ԳԲ կամ ավելի վիդեոհիշողությամբ սերվերային սարքավորումների վրա և աջակցում է մասշտաբավորվող տեղային կամ հիբրիդային տեղակայում։
gpt-oss-120b-ի հիմնական հնարավորությունները¶
- Մասշտաբավորվող ճարտարապետություն՝ պայմանական ակտիվացմամբ. Մոդելը պարունակում է 120 միլիարդ պարամետր, սակայն ցրված ակտիվացման մեխանիզմի (sparse activation) միջոցով այն յուրաքանչյուր հարցման ընթացքում ակտիվացնում է միայն մոտավորապես 21 միլիարդ պարամետր։ Սա էապես նվազեցնում է հիշողության և հաշվողական ռեսուրսների պահանջները՝ որակը չվնասելով։
- Բարձր մակարդակի գործակալական հնարավորություններ. gpt-oss-120b-ն աջակցում է գործիքների ընդլայնված հավաքածու, ներառյալ կոդի կատարում, իրական ժամանակում վեբ որոնում, API կանչեր և խիստ կառուցվածքային ելքերի (JSON, XML և այլն) գեներացում։ Սա դարձնում է այն իդեալական հիմք ինքնուրույն գործակալների և բարդ ավտոմատացված համակարգերի համար։
- Ադապտիվ տրամաբանություն. Մոդելը իրականացնում է տրամաբանության մակարդակների ճկուն համակարգ՝ արագ ուղղակի պատասխաններից մինչև բազմաքայլ մտածողության շղթաներ (chain-of-thought) և որոշումների ծառեր։ Օգտատերերը կարող են վերահսկել «մտածողության խորությունը»՝ կախված առաջադրանքի բարդությունից։
- Բարձր արդյունավետություն բենչմարկներում. gpt-oss-120b-ն ցուցաբերում է արդյունքներ, որոնք համեմատելի են o3 և o4 մակարդակի սեփական մոդելների հետ, հատկապես տրամաբանություն, մաթեմատիկա, ծրագրավորում և գիտելիքների միջդիսցիպլինար սինթեզ պահանջող առաջադրանքներում։
- Ընդարձակ բազմալեզու աջակցություն. Մոդելը ուսուցված է 50-ից ավելի լեզուների տվյալների վրա և կարող է արդյունավետ աշխատել բազմալեզու և բազմամշակութային համատեքստերում։ Ամենալավ արդյունքների համար խորհուրդ է տրվում պրոմպտում ակնհայտորեն նշել լեզուն և մշակութային շրջանակները։
- Արդյունավետ քվանտացում և համատեղելիություն. MXFP4 և INT4 ֆորմատների աջակցությունը թույլ է տալիս էապես նվազեցնել հիշողության օգտագործումը և արագացնել ելքը՝ որակի էական կորուստների առանց։ Մոդելը համատեղելի է vLLM, GGUF և Hugging Face Transformers նման հայտնի շրջանակների հետ։
Տեղակայման հնարավորություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 415 | gpt-oss:120b | Ubuntu 22.04 | - | - | + | + | 16 | 128 | 240 | Ոչ | ՊԱՏՎԻՐԵԼ |
Տեղակայման տեխնիկական բնութագրերը.
- Ubuntu 22.04՝ միջուկի 6-րդ տարբերակի թարմացմամբ;
- Վերջին Nvidia դրայվերներ;
- CUDA Toolkit;
- Ollama՝ մոդելների կառավարման համար;
- OpenWebUI՝ վեբ ինտերֆեյսի համար։
Տեղակայման առանձնահատկությունները.
- Տեղակայման ժամանակը 35-45 րոպե է՝ ներառյալ OS-ի կարգավորումը;
- Ollama սերվերը բեռնում և գործարկում է gpt-oss-120b մոդելը GPU/RAM հիշողության մեջ;
- Open WebUI-ն տեղակայվում է որպես վեբ հավելված, որը միացված է Ollama սերվերին;
- Օգտատերերը փոխազդում են մոդելի հետ Open WebUI վեբ ինտերֆեյսի միջոցով՝ ծրագրավորման և գործակալական առաջադրանքների համար;
- Բոլոր հաշվարկները և կոդի մշակումը տեղի են ունենում տեղային սերվերի վրա;
- Ադմինիստրատորները կարող են կարգավորել մոդելը կոնկրետ զարգացման առաջադրանքների համար՝ օգտագործելով OpenWebUI գործիքները;
- Տարբեր քվանտացման մակարդակների աջակցություն՝ հիշողության օգտագործումը օպտիմալացնելու համար։
gpt-oss-120b-ի տեղակայումից հետո սկսելու համար¶
Վճարումից հետո սերվերի պատրաստ լինելու մասին ծանուցում կուղարկվի պատվերի ընթացքում գրանցված էլ. փոստին։ Այն կներառի VPS IP հասցեն, սերվերին մուտք գործելու համար օգտատերի անունը և գաղտնաբառը, ինչպես նաև OpenWebUI կառավարման վահանակի հղումը։ Հաճախորդները սարքավորումները կառավարում են Սերվերի կառավարման վահանակի և API-ի միջոցով — Invapi։
- Օպերացիոն համակարգի սերվերին մուտք գործելու հավաստագրերը (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ստացված էլ. փոստով։
- Ollama կառավարման վահանակի հղումը Open WebUI վեբ ինտերֆեյսով. webpanel թեգում՝ Invapi-ի կառավարման վահանակի Configuration >> Tags թաբում։ Ճշգրիտ հղումը, օրինակ՝
https://gpt-oss<Server_ID_from_Invapi>.hostkey.in, տրվում է սերվերի առաքման ժամանակ ուղարկված էլ. փոստով։
webpanel թեգի հղումը առաջին անգամ այցելելիս կբացվի ողջույնի էջ։ Սեղմեք Get started կոճակը՝ սկսելու կարգավորումը։
webpanel թեգի հղումը սեղմելուց հետո կբացվի Get started with Open WebUI մուտքի պատուհան, որտեղ անհրաժեշտ է ստեղծել Ձեր չատբոտի ադմինիստրատորի անունը, էլ. փոստը և գաղտնաբառը, այնուհետև սեղմել Create Admin Account կոճակը.
Զգուշացում
Առաջին օգտատիրոջ գրանցումից հետո համակարգը ավտոմատ կերպով նշանակում է նրան ադմինիստրատորի դեր։ Անվտանգությունն ու գրանցման գործընթացի վերահսկողությունը ապահովելու համար բոլոր հաջորդ գրանցման հարցումները պետք է հաստատվեն OpenWebUI-ում ադմինիստրատորի հաշվից։
Հաջող գրանցումից հետո կբացվի Open WebUI-ի հիմնական ինտերֆեյսը՝ Gpt-oss-120b-ին մուտքի հնարավորությամբ.
Նշում
Ollama կառավարման վահանակի և Open WebUI-ի օգտագործման մանրամասն տեղեկատվություն կարելի է գտնել Ձեր սեփական սերվերի վրա AI Չատբոտ հոդվածում։
Նշում
gpt-oss-120b մոդելի հետ օպտիմալ աշխատանքի համար խորհուրդ է տրվում օգտագործել առնվազն 70 ԳԲ վիդեոհիշողությամբ GPU՝ 120B մոդելի համար։ Երկար կոդային համատեքստերի և բարդ գործակալական առաջադրանքների արդյունավետ մշակման համար խորհուրդ ենք տալիս օգտագործել 80 ԳԲ վիդեոհիշողությամբ GPU-ներ։ Ollama-ի հիմնական կարգավորումների և Open WebUI-ի մանրամասն տեղեկատվություն կարելի է գտնել Ollama-ի մշակողների փաստաթղթերում և Open WebUI-ի մշակողների փաստաթղթերում։
Օգտագործման խորհուրդներ
gpt-oss-120b մոդելի արդյունավետությունը մաքսիմալացնելու համար խորհուրդ է տրվում.
- Օգտագործել մոդելը տրամաբանական առաջադրանքների համար, ներառյալ chain-of-thought մշակումը։ Մոդելը աջակցում է տրամաբանության կարգավորելի մակարդակներ՝ ցածր, միջին և բարձր, որոնք կարգավորվում են համակարգային պրոմպտի միջոցով։
- Օգտագործել մոդելի ներկառուցված գործակալական հնարավորությունները, ինչպիսիք են ֆունկցիաների կանչը, Python կոդի կատարումը և կառուցվածքային ելքերը։
- Օգտագործել մոդելը բազմափուլ զարգացման առաջադրանքների համար՝ օգտագործելով դրա գործակալական հնարավորությունները։
- Ինտեգրել մոդելը գոյություն ունեցող զարգացման գործիքների հետ API-ի միջոցով, հաշվի առնելով, որ այն աջակցում է ճշգրտում և աշխատում է OpenAI Harmony պատասխանի ֆորմատով։ Մոդելը նախատեսված է ցածր լատենտությամբ արդյունավետ տեղակայման համար, ներառյալ տեղային։