North Mini Code 1.0¶
Այս հոդվածում
Տեղեկատվություն
North Mini Code 1.0-ը Cohere Labs-ի կողմից մշակված առաջին մասնագիտացված մոդելն է ծրագրավորողների համար, որը նախատեսված է կոդի գեներացման և ծրագրային գործիչների (software agent) ինժեներական պլանավորման համար: Մոդելն օգտագործում է Mixture-of-Experts (MoE) արքիտեկտուրա՝ ընդհանուր 30 միլիարդ պարամետրերով, որոնցից մեկ տոկենի համար ակտիվացվում է ընդամենը 3 միլիարդը: Սա թույլ է տալիս ստանալ բարձր կատարողականություն՝ հիշողության համեմատաբար չափավոր պահանջներով. Ollama-ում մոդելը զբաղեցնում է մոտ 19 GB և ունի տպավորիչ կոնտեքստային պատուհան՝ մինչև 488K տոկեն: Ubuntu 22.04-ի վրա հիմնված տեղակայումը՝ Open WebUI ինտեգրմամբ, ապահովում է օգտվողի համար հարմարավետ ինտերֆեյս և լիակատար վերահսկողություն գաղտնի սկզբնական կոդի նկատմամբ:
North Mini Code 1.0-ի հիմնական առավելությունները¶
- Էֆեկտիվ MoE արքիտեկտուրա: 30B ընդհանուր պարամետրեր, որոնցից միայն 3B-ն է ակտիվ՝ երաշխավորելով կոկի գեներացման բարձր արագություն և հաշվարկային ռեսուրսների ստուգված սպառում:
- Հսկայական կոնտեքստային պատուհան: 256K տոկենների նատիվ աջակցություն, որը Ollama-ում կարող է ընդլայնվել մինչև 488K՝ թույլ տալով հիշողության մեջ բեռնել ամբողջական կոդային բազաներ և հսկայական փաստաթղթեր:
- Software Agent Engineering: Մոդելը հատուկ օպտիմալացված է որպես ինքնավար կոդավորող և առաջադրանքների պլանավորող գործելու համար:
- Լոկալ գործարկում: Կոմպակտ չափերի շնորհիվ այս հզոր մոդելը հասանելի է ժամանակակից GPU-ներ վրա գործարկելու համար:
- Open WebUI ինտեգրում: Ապահովում է ժամանակակն վեբ ինտերֆեյս՝ 8080 պորտի միջոցով մոդելի հետ հեշտ փոխգործակցության համար, երաշխավորելով տվյալների և հարցումների մշակման լիակատար վերահսկողություն:
- Scalability: Բազմակի GPU կոնֆիգուրացիաների աջակցություն և բեռնվածությունը մի քանի GPU-ների միջև բաշխելու հնարավորություն՝ օպտիմալ կատարողականության համար:
- Անվտանգություն և վերահսկողություն: Լոկալ տեղակայումը երաշխավորում է տվյալների գաղտնիությունը, մինչդեռ
OLLAMA_HOSTևOLLAVA_ORIGINSկարգավորումները երաշխավորում են ցանցային անվտանգությունը: - Կատարողականություն: Օգտագործում է attention մեխանիզմների արդյունավետ գործիքներ՝ հարցումների մշակումն արագացնելու և մոդելի աշխատանքը օպտիմալացնելու համար:
- Fault Tolerance (Սխալների նկատմախ կայունություն): Կոնտեյներների և ծառայությունների ներկառուցված ավտոմատ վերագործարկման համակարգն ապահովում է կայուն աշխատանք:
Տեղակայման առավելություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Ոչ | ՊԱՏՎԻՐԵԼ |
Տեղեկատվություն
Այս ծրագրի տեղակայման մանրամասները կարող եք գտնել այս հղումով
Նշում
Եթե այլ բան նախատեսված չէ, մենք ռեժիմում (by default) տեղակայում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի ռեպոզիտորիաներց (repositories):
North Mini Code 1.0-ի տեղակայումից հետո սկսել աշխատանքը¶
Վճարումն ավարտվելուց հետո, սերվերի պատրաստ լինելու մասին ծանուցումը կուղարկվի գրանցման ժամանակ նշված էլեկտրոնային հասցեին: Այդ էլեկտրոնային նամակը պարունակելու է VPS IP հասցեն, մուտքի տվյալները (login և password) սերվերին միանալու համար, և Open WebUI վահանակ հասանելիության հղումը: Հաճախորդները կարող են կառավարել իրենց սարքավորումները Server Control Panel և API վահանակում — Invapi.
-
Սերվերի օպերացիոն համակարգին մուտք գործելու համար անհրաժեշտ տվյալները (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ էլեկտրոնային նամակով:
-
Ollama կառավարման վահանակ և Open WebUI վեբ ինտերֆեյս հասանելիության հղումը՝ գտնվում է Invapi կառավարման վահանակի Configuration >> Tags բաժնում՝ webpanel թեգի տակ: Ճշգրիտ հղումը, որը ունի
https://north-mini<Server_ID_from_Invapi>.hostkey.comձևաչափ, ուղարկվում է սերվերի առաքման պահին ստացված էլեկտրոնային նամակով:
Սկսելով webpanel թեգի հղումը, կբացվի Get started with Open WebUI լոգին պատուհանը, որտեղ դուք պետք է ստեղծեք ադմինիստրատոր օգտանուն, էլեկտրոնային հասցե և գաղտնաբառ chatbot-ի համար, այնուհետև ստեղնում դարձրեք Create Admin Account կոճակը.
Զգուշացում
Երբ առաջին օգտվողը գրանցվում է, համակարգն ավտոմատ կերպով նրան վերցնում է Administrator դեր: Գրանցման գործընթացի անվտանգությունն ու վերահսկողությունը ապահովելու համար բոլոր հաջորդ գրանցման հարցումները պետք է հաստատվեն Open WebUI ինտերֆեյսում՝ ադմինիստրատորի கணվով:
Նշում
Open WebUI-ի միջոցով Ollama կառավարման վահանակով աշխատելու մասին մանրամասն նկարագրությունը կարող եք գտնել AI Chatbot on Your Own Server հոդվածում:
Նշում
Օպտիմալ կատարողականության համար խորհուրդ է տրվում օգտագործել GPU, որի VRAM-ը ավելի է, քան նվազագույն պահանջը (24 GB), ինչը թույլ կտա մշակել մեծ կոնտեքստներ և զուգահեռ հարցումներ: Ollama-ի և Open WebUI-ի կարևոր կարգավորումների մասին մանրամասն տեղեկությունները կարող եք գտնել Ollama developer documentation և Open WebUI developer documentation փաստաթղթերում: