North Mini Code 1.0¶
Այս հոդվածում
Տեղեկատվություն
North Mini Code 1.0-ը Cohere Labs-ի կողմից մշակված առաջին մասնագիտացված մոդելն է ծրագրավորողների համար, որը նախատեսված է կոդի գեներացման և ծրագրային գործակալների (software agent) ինժեներական պլանավորման համար: Մոդելն օգտագործում է Mixture-of-Experts (MoE) արքիտեկտուրա՝ ընդհանուր 30 միլիարդ պարամետրերով, որոնցից միայն 3 միլիարդը ակտիվացվում է յուրաքանչյուր թոքենի համար: Սա հնարավորություն է տալիս ստանալ բարձր արդյունավետություն՝ համեմատաբար չափավոր հիշողության պահանջներով. Ollama-ում մոդելը զբաղեցնում է մոտ 19 GB և աջակցում է մինչև 488K թոքենի տպավորիչ կոնտեքստային պատուհանի (context window): Ubuntu 22.04-ի վրա հիմնված տեղակայումը՝ Open WebUI ինտեգրմամբ, ապահովում է օգտվողի համար հարմարավետ ինտերֆեյս և լիակատար հսկողություն գաղտնի սկզբնական կոդի նկատմամբ:
North Mini Code 1.0-ի հիմնական գործառույթները¶
- Էֆեկտիվ MoE արքիտեկտուրա: 30B ընդհանուր պարամետրեր, որոնցից միայն 3B-ն է ակտիվ՝ երաշխավորելով կոդի գեներացման բարձր արգույթ և հաշվարկային ռեսուրսների ստուգված սպառում:
- Հսկայական կոնտեքստային պատուհան: 256K թոքենի նատիվ աջակցություն, որը Ollama-ում կարող է ընդարձակվել մինչև 488K՝ թույլ տալով հիշողության մեջ բեռնել ամբողջական կոդային բազաներ և հսկայական փաստաթղթեր:
- Ծրագրային գործակալների ինժեներում: Մոդելը հատուկ օպտիմալացված է որպես ինքնավար կոդավորող (coder) և առաջադրանքների պլանավորող գործելու համար:
- Տեղային գործարկում: Կոմպակտ չափերի շնորհիվ այս հզոր մոդելը հասանելի է ժամանակակից GPU-ներ վրա աշխատելու համար:
- Open WebUI ինտեգրում: Ապահովում է ժամանակակրվեր վեբ ինտերֆեյս՝ մոդելի հետ հեշտ փոխգործակցության համար 8080 պորտի միջոցով, երաշխավորելով տվյալների և հարցումների մշակման լիակատար հսկողություն:
- Մասշտաբայնություն: Մոդելը սப்போրտում է բազմաթիվ GPU կոնֆիգուրացիաներ և ունի բեռնվածությունը մի քանի GPU-ների միջև բաշխելու հնարավորություն՝ օպտիմալ արդյունավետության համար:
- Անվտանգություն և հսկողություն: Լոկալ տեղակայումը երաշխավորում է տվյալների գաղտնիությունը, մինչդեռ
OLLAMA_HOSTևOLLMA_ORIGINSկարգավորումները երաշխավորում են ցանցային անվտանգություն: - Արդյունավետություն: Օգտագործում է արդյունավետ attention մեխանիզմներ՝ հարցումների մշակումն արագացնելու և մոդելի աշխատանքը օպտիմալացնելու համար:
- Դիմակայունություն: Կոնթեյներների և սերվիսների ներկառուցված ավտոմատ վերագործարկման համակարգն ապահովում է կայուն աշխատանք:
Տեղակայման հնարավորություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Ոչ | ՊԱՏՎԻՐԵԼ |
Նշում
Եթե այլ բան նախատեսված չէ, ռեժիմով մենք լռելկյալ տեղակայում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի պահոցներից:
Ինչպես սկսել North Mini Code 1.0-ի տեղակայումից հետո¶
Վճարումն ավարտելուց հետո սերվերի պատրաստ լինելու մասին ծանուցումը կուղարկվի գրանցման ժամանակ նշված էլեկտրոնային հասցեին: Այդ էլեկտրոնային նամակը պարունակելու է VPS IP հասցեն, լոգինը և password-ը սերվերին միանալու համար, ինչպեսզիք և Open WebUI վահանակին մուտք գործելու հղումը: Հաճախորդները կարող են կառավարել իրենց սարքավորումները Server Control Panel և API վահանակում — Invapi.
-
Authorization credentials սերվերի օպերացիոն համակարգին մուտք գործելու համար (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ էլեկտրոնային փոստով:
-
Ollama control panel-ի հասանելիության հղումը Open WebUI վեբ ինտերֆեյսով: գտնվում է Invapi control panel-ի Configuration >> Tags բաժնում՝ ստորագրված webpanel թեգով: Ճշգրիտ հղումը, որը ունի
https://north-mini<Server_ID_from_Invapi>.hostkey.comձևաչափ, ուղարկվում է սերվերի առաքման պահին ստացված էլեկտրոնային փոստով:
Սեղմելով webpanel թեգի հղումը՝ կբացվի Get started with Open WebUI ավտորիզացիայի պատուհանը, որտեղ դուք պետք է ստեղதுեք ադմինիստրատոր օգտանուն, էլեկտրոնային հասցե և password chatbot-ի համար, այնուհետև սեղմեք Create Admin Account կոճակը.
Զգուշացում
Երբ առաջին օգտվողը գրանցվում է, համակարգն ավտոմատ կերպով նրան վերցնում է Administrator դեր: Գրանցման գործընթացի անվտանգությունն ու հսկողությունն ապահովելու համար բոլոր հաջորդ գրանցման հարցումները պետք է հաստատվեն Open WebUI ինտերֆեյսում՝ ադմինիստրատորի கணվաներից:
Նշում
Open WebUI-ի միջոցով Ollama control panel-ով աշխատելու մասին մանրամասն նկարագրությունը կարող եք գտնել AI Chatbot on Your Own Server հոդվածում:
Նշում
Օպտիմալ արդյունավետության համար խորհուրդ է տրվում օգտագործել GPU, որի VRAM-ը ավելի է, քան նվազագույն պահանջվող 24 GB-ն, ինչը հնարավորություն կտա մշակել մեծ կոնտեքստներ և զուգահեռ հարցումներ: Ollama-ի և Open WebUI-ի կարևորագույն կարգավորումների մասին մանրամասն տեղեկատվությունը կարելի է գտնել Ollama developer documentation և Open WebUI developer documentation փաստաթղթերում: