Gemma-4-26B¶
Այս հոդվածում
Տեղեկատվություն
Gemma-4-26B-ը Google-ի նոր սերնդի մուլտիմոդալ մեծ լեզվական մոդել է, որը հասանելի է Ollama-ի միջոցով տեղական տեղակայման համար: Mixture of Experts (MoE) կառուցվածքը՝ 26 բլլիոն պարամետրերով, որոնցից միայն ~3.8B-ը հեշտությամբ օգտագործվում է մեկ տոկենի համար, ապահովում է 4B մոդելին համեմատած համեմատած պահպանվող արտադրողականություն՝ պահպանելով շատ ավելի մեծ խիտ (dense) մոդելների բանականությունը: Մոդելը աջակցում է 256K context window, Thinking Mode, function calling և պատկերների մշակում: Ubuntu 22.04-ում տեղակայումը՝ Open WebUI-ի ինտեգրմամբ, երաշխավորում է տվյալների முழுமையான վերահսկողություն և օգտագերտման հարմարավետ ինտերֆեյս:
Հիմնական գործառույթները¶
- Mixture of Experts (MoE) կառուցվածք: Մոդելը պարունակում է 25.2B ակտիվ պարամետրեր՝ ընդհանուր 26B-ից, ակտիվացնելով միայն ~3.8B պարամետր մեկ տոկենի համար. սա ապահովում է 4B խիտ մոդելի արագությունը՝ 26B մոդելի բանականության մակարդակով:
- Մուլտիմոդալություն: Բնական մուլտիմոդալ մուտքերի (տեքստ և պատկեր) և տեքստային ելքերի գեներացման աջակցում:
- Հսկայական կոնտեքստային պատուհան: Մինչև 256K տոկենների աջակցումը թույլ է տալիս աշխատել երկար փաստաթղթերի, մեծ կոդային բազաների և բարդ երկխոսությունների հետ:
- Մտածողության ռեժիմ: Կարգավորվող մտածողության ռեժիմ՝ բարդ տրամաբանական և վերլուծելու խնդիրներ լուծելու համար:
- Գործակալական կարողություններ: Function calling-ի և կառուցվածքային ելքերի բնական աջակցում՝ արտաքին գործիքների և API-ների հետ ինտեգրման համար:
- Տեղակայման ճկունություն: Լրիվ տարբերակը պահանջում է ~80GB VRAM, սակայն Q4 քվանտացումը թույլ է տալիս գործարկել մոդելը 24GB GPU-ով, մինչդեռ օպտիմալացված տարբերակները կարող են աշխատել 16GB VRAM-ով:
- Open WebUI ինտեգրում: Ժամանակակից վեբ ինտերֆեյս 8080 պորտի միջոցով՝ տվյալների և հարցումների մշակման լիակատար վերահսկողությամբ:
- Scalability: Multi-GPU կոնֆիգուրացիաների և մի քանի GPU-ների միջև ծանրաբեռնվածության հավասարակշռման (load balancing) աջակցում:
- Ապահովություն և վերահսկողություն: Տեղական տեղակայումը երաշխավորում է տվյալների գաղտնիությունը.
OLLAMA_HOSTևOLLAMA_ORIGINSկարգավորումները երաշխունք են ցանցային անվտանգությունը: - Արտադրողականություն:
LLAMA_FLASH_ATTENTION-ի օգտագործումը և արդյունավետ MoE կառուցվածքը՝ հարցումների մշակումն արագացնելու համար: - Դիմացկունություն (Fault Tolerance): Կոնտեյներների և սերվիսների ներկառուցված ավտոմատ վերագործարկման համակարգ՝ կայուն աշխատանքն ապահովելու համար:
Տեղակայման հնարավորություններ¶
| ID | Ծրագրային ապահովման անվանում | Համատեղելի ՕՀ | VM | BM | VGPU | GPU | Նվազագույն CPU (միջուկներ) | Նվազագույն RAM (ԳԲ) | Նվազագույն HDD/SSD (ԳԲ) | Սեփական դոմեն | Ակտիվ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 644 | Gemma-4-26b | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Ոչ | ՊԱՏՎԻՐԵԼ |
Տեղեկատվություն
Կարող եք գտնել այս ծրագրի տեղակայման հնարավորությունների վերաբերյալ տեղեկատվություն այս հղումով
Նշում
Եթե այլ բան նախատեսված չէ, մենք ռեժիմով (by default) տեղադրում ենք ծրագրի վերջին թողարկված տարբերակը՝ ծրագրավորողի կայքից կամ օպերացիոն համակարգի պահեստներից:
Ինչպես սկսել Gemma-4-26B տեղակայումից հետո¶
Վճարումն ավարտվելուց հետո, երբ սերվերը պատրաստ կլինի աշխատանքի, գրանցման ժամանակ նշված էլեկտրոնային հասցեին կուղարկվի ծանուցում: Այդ ծանուցումը կներառի VPS IP հասցեն, login և password սերվերին միանալու համար, ինչպեսզիք Open WebUI վահանակ մուտք գործելու հղումը: Հաճախորդները կարող են կառավարել իրենց սարքավորումները Server Control Panel և API վահանակում — Invapi.
-
Սերվերի օպերացիոն համակարգին մուտք գործելու համար անհրաժեշտ տվյալները (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ էլեկտրոնային փոստով:
-
Ollama control panel-ի և Open WebUI վեբ ինտերֆեյսի հասանելիության հղումը: գտնվում է Invapi control panel-ի Configuration >> Tags բաժնում՝ ստորաբնակված webpanel թեգի տակ: Ճշգրիտ հղումը, որը ունի
https://gemma26b<Server_ID_from_Invapi>.hostkey.comձևաչափ, ուղարկվում է սերվերի հանձնման պահին ստացված էլեկտրոնային նամակով:
Սկսելու համար սեղմելով webpanel թեգի հղումը, կբացվի Get started with Open WebUI authorization window, որտեղ դուք պետք է ստեղծեք chatbot-ի համար ադմինիստրատորի օգտանունը, էլեկտրոնային փոստը և գաղտնաբառը, այնուհետև սեղմեք Create Admin Account կոճակը:
Զգուշացում
Երբ առաջին օգտվողը գրանցվում է, համակարգն ավտոմատ կերպով նրան նշանակում է Administrator դեր: Գրանցման գործընթացի անվտանգությունն ու վերահսկողությունն ապահովելու համար բոլոր հաջորդ գրանցման հարցումները պետք է հաստատվեն Open WebUI ինտերֆեյսում՝ administrator கணվի միջոցով:
Նշում
Ollama control panel-ով և Open WebUI-ով աշխատելու մանրամասն նկարագրությունը կարող եք գտնել AI Chatbot on Your Own Server հոդվածում:
Նշում
Օպտիմալ արտադրողականության համար խորհուրդ է տրվում օգտագործել GPU, որի VRAM-ը գերազանցում է նվազագույն 24GB պահանջը. սա ավելացուցչային գերտկություն է տրամադրում մեծ context-ների և զուգահեռ հարցումների մշակման համար: Ollama-ի և Open WebUI-ի հիմնական կարգավորումների վերաբերյալ մանրամասն տեղեկատվությունը կարելի է գտնել Ollama developer documentation և Open WebUI developer documentation փաստաթղթերում:
Gemma-4-26B սերվերի պատվիրում API-ի միջոցով¶
Այս ծրագիրը API-ի միջոցով տեղադրելու համար հետևեք այս հրահանգներին.