Gemma-4-31B¶
Այս հոդվածում
Տեղեկատվություն
Gemma 4-31B-ը Gemma 4 ընտանիքի ամենամեծ և հզոր մոդելն է, որը նախագծված է ամենաբարդ խնդիրներ լուծելու համար: Ի տարբերություն MoE տարբերակի, այս մոդելն օգտագործում է դասական Dense արքիտեկտուրա՝ 30.7 միլիարդ պարամետրերով, ինչն ապահովում է բացառիկ կայունություն և խորը տրամաբանություն: Տեղակայումը հիմնված է Ubuntu 22.04-ի վրա և պահանջում է զգալի հաշվարկային ռեսուրսներ. լիարձակ աշխատանքի համար անհրաժեշտ է մոտավորապես 62 GB VRAM; սակայն, 4-bit quantization դեպքում մոդելը հաջողությամբ աշխատում է 20 GB հիշողությամբ համակարգերում: Open WebUI-ի հետ ինտեգրումը տրամադրում է հարմարավետ ինտերֆեյս մոդելի հետ փոխազդելու համար՝ միաժամանակ պահպանելով լիակատար վերահսկողություն տվյալների նկատմամբ:
Հիմնական գործառույթներ¶
- Հզոր Dense Արքիտեկտուրա: Մոդելը dense open-weights կատեգորիայի առաջատարն է՝ առաջարկելով գեներացման և վերլուծության ամենաբարձր որակը:
- Նատիվ մուլտիմոդալություն: Արքիտեկտուրան ստաջակցում է տեքստային և պատկերային մուլտիմոդալ մուտքերի միաժամանակյա մշակմանը՝ տեքստային ելքով:
- Մեծածավալ կոնտեքստային պատուհան: Մինչև 256K թոքենի հնարավորությունն ապահովում է ամբողջական կոդի ռեպոզիտորիաներ կամ երկար փաստաթղթեր հիշողության մեջ բեռնելը:
- Մտածողության ռեժիմ: Մոդելը կարողանում է գեներացնել միջանկյայ տրամաբանական քայլեր նախքան վերջնական պատասխանի ձևակերպումը:
- Agentic հնարավորություններ: Ֆունկցիաների ստանդարտ կանչերի (native function calling) ներկառուցված աջակցությունը պարզեցնում է ավտոնոմ AI գործիչների (agents) ստեղծումը:
- Open WebUI ինտեգրում: Տրամադրում է ժամանակակից վեբ ինտերֆեյս մոդելի հետ հարմարավետ փոխազդելու համար՝ 8080 պորտի միջոցով, ապահովելով լիակատար վերահսկողություն տվյալների և հարցումների մշակման նկատմամբ:
- Սկալաբելություն: Մի քանի GPU կոնֆիգուրացիաների հնարավորություն և ծանրաբեռնվածությունը մի քանի GPU-ների միջև բաշխելու հնարավորություն՝ օպտիմալ կատարողականության համար:
- Ապահովություն և վերահսկողություն: Լոկալ տեղակայումը երաշխավորում է տվյալների գաղտնիությունը, մինչդեռ
OLLAMA_HOSTևOLLAVA_ORIGINSկարգավորումները երաշխատում են ցանցային անվտանգություն: - Արդյունավետություն: Օգտագործում է
LLAMA_FLASH_ATTENTIONտեխնոլոգիան՝ հարցումների մշակումն արագացնելու և մոդելի աշխատանքը օպտիմալացնելու համար: - Դիմացկունություն սխալների նկատմամբ: Կոնտեյներների և ծառայությունների ներկառուցված ավտոմատ վերագործարկման համակարգն ապահովում է կայուն աշխատանք:
Տեղակայման գործառույթներ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 647 | Gemma-4-31b | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Ոչ | ՊԱՏՎԻՐԵԼ |
Նշում
Եթե այլ բան նախատեսված չէ, մենք ռեժիմում (by default) տեղակայում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի ռեպոզիտորիաներից:
Ինչպես սկսել Gemma-4-31B-ը տեղակայելուց հետո¶
Վճարումն ավարտելուց հետո սերվերի պատրաստ լինելու մասին ծանուցումը կուղարկվի գրանցման ժամանակ նշված էլեկտրոնային հասցեին: Այն կպարունակի VPS IP հասցեն, login-ը և password-ը սերվերին միանալու համար, ինչպեսզիք Open WebUI վահանակ մուտք գործելու հղումը: Հաճախորդները կառավարում են իրենց սարքավորումները Server Control Panel և API — Invapi միջոցով:
-
Սերվերի օպերացիոն համակարգին մուտք գործելու համար անհրաժեշտ լրացուցիչ տվյալները (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ էլեկտրոնային փոստով:
-
Ollama կառավարման վահանակ և Open WebUI վեբ ինտերֆեյս մուտք գործելու հղումը: գտնվում է Invapi կառավարման վահանակի Configuration >> Tags տաբում՝ ստորաբաժանումների webpanel թեգի տակ: Ճշգրիտ հղումը, որը ունի
https://gemma31b<Server_ID_from_Invapi>.hostkey.comձևաչափ, ուղարկվում է սերվերի առաքման պահին ստացված էլեկտրոնային փոստով:
Սկսելու համար՝ սեղմելով webpanel թեգի հղումը, կբացվի Get started with Open WebUI լրացուցիչ տվյալների մուտքագրման պատուհանը, որտեղ դուք պետք է ստեղծեք chatbot-ի համար administrator username, email և password, այնուհետև սեղմեք Create Admin Account կոճակը:
Զգուշացում
Երբ առաջին օգտվողը գրանցվում է, համակարգն ավտոմատ կերպով նրան վերցնում է Administrator դեր: Գրանցման գործընթացի անվտանգությունն ու վերահսկողությունն ապահովելու համար բոլոր հաջորդ գրանցման հարցումները պետք է հաստատվեն Open WebUI ինտերֆեյսում՝ administrator հաշվի միջոցով:
Նշում
Open WebUI-ի միջոցով Ollama կառավարման վահանակով աշխատելու մանրամասն նկարագրությունը կարող եք գտնել AI Chatbot on Your Own Server հոդվածում:
Նշում
Օպտիմալ կատարողականության համար խորհուրդ է տրվում օգտագործել GPU, որի VRAM-ը ավելի է, քան նվազագույն պահանջը (24 GB), ինչը թույլ է տալիս մշակել մեծ կոնտեքստներ և զուգահեռ հարցումներ: Ollama-ի և Open WebUI-ի կարևոր կարգավորումների վերաբերյալ մանրամասն տեղեկատվությունը կարելի է գտնել Ollama developer documentation և Open WebUI developer documentation փաստաթղթերում: