Gemma-3-27B¶

Այս հոդվածում

• Gemma-3-27B հիմնական գործառույթները
• Տեղակայման հնարավորություններ
• Համակարգային պահանջներ և տեխնիկական բնութագրեր
• Ինչպես սկսել Gemma-3-27B-ի տեղակայումից հետո
• Պատվիրել սերվեր Gemma-3-27B-ով՝ օգտագործելով API

Gemma-3-27B հիմնական գործառույթները¶

• Բարձր արտադրողականության ճարտարապետություն: Մոդելն ունի 27 միլիարդ պարամետր և օպտիմալացված է բարդ առաջադրանքներն առավելագույն ճշտությամբ կատարելու համար՝ օգտագործելով ժամանակակն տեխնոլոգիաներ:
• Ինտեգրում Open Web UI-ի հետ: Ապահովում է ժամանակակից վեբ ինտերֆեյս մոդելի հետ հարմարավետ փոխազդման համար՝ օգտագործելով 8080 պորտը, ինչն երաշխավորում է տվյալների և հարցումների մշակման լիակատար վերահսկողություն:
• Ընդլայնվողություն (Scalability): Աջակցում է բազմաթիվ քարտերով կոնֆիգուրացիաներին և ծանրաբեռնվածության բաշխմանը մի քանի GPU-ների միջև՝ օպտիմալ արտադրողականության համար:
• Անվտանգություն և վերահսկողություն: Լոկալ տեղակայումը երաշխավորում է տվյալների գաղտնիությունը, մինչդեռ OLLAMA_HOST և OLLَّا_ORIGINS կարգավորումները երաշխավորում են ցանցային անվտանգություն:
• Արտադրողականություն: Օգտագործում է LLAMA_FLASH_ATTENTION տեխնոլոգիան՝ հարցումների մշակումն արագացնելու և մոդելի աշխատանքը օպտիմալացնելու համար:

• Հուսալիություն: Կոնտեյներների և սերվիսների ավտոմատ վերագործարկման ինտեգրված համակարգն ապահովում է կայուն աշխատանք:

• Օգտագործման օրինակներ:

  • Հաճախորդների աջակցություն: Օգտատերերի հարցումներին պատասխանների ավտոմատացում:
  • Կրթություն: Կրթական նյութերի ստեղծում, առաջադրանքների լուծելու համար աջակցություն:
  • Մարքեթինգ: Գովազդային տեքստերի գեներացում, կարծիքների վերլուծություն:
  • Ծրագրային ապահովման մշակում: Կոդի ստեղծում և փաստաթղթավորում:

Տեղակայման հնարավորություններ¶

• Տեղակայման ժամանակը՝ 15-30 րոպե (համակարգային ծրագրի հետ միասին):
• Ollama սերվերը բեռնում և գործարկում է LLM-ը հիշողության մեջ:
• Open WebUI-ն տեղակայվում է որպես վեբ հավելված, որը կապված է Ollama սերվերի հետ:
• Օգտատերերը փոխազդում են LLM-ի հետ Open WebUI վեբ ինտերֆեյսի միջոցով՝ ուղարկելով հարցումներ և ստանալով պատասխաններ:
• Բոլոր հաշվարկները և տվյալների մշակումը կատարվում են լոկալ՝ սերվերի վրա: Ադմինիստրատորները կարող են կազմաչափել LLM-ը հատուկ առաջադրանքների համար՝ օգտագործելով OpenWebUI գործիքները:

Համակարգային պահանջներ և տեխնիկական բնութագրեր¶

• Գրաֆիկական հզորացուցիչ (Graphics Accelerator) CUDA աջակցтուց (մեկը հնարավոր տարբերակներից է, կարող է լինել ավելի լավ):

  • 2x NVIDIA A4000 (յուրաքանչյուրի համար՝ 16/24 GB տեսական հիշողություն)
  • 2x NVIDIA A5000 (յուրաքանչյուրի համար՝ 24 GB տեսական հիշողություն)
  • 1x NVIDIA A6000 (48 GB տեսական հիշողություն)
  • 1x NVIDIA 5090 (32 GB տեսական հիշողություն)

• Սկավառակի տարածք: SSD՝ համակարգի և մոդելի համար բավարար չափսի:

• Ծրագրային ապահովում: NVIDIA դրայվերներ և CUDA:
• Տեսական հիշողության սպառում: 28 GB՝ 2K token context-ի պարագայում:
• Համակարգի մոնիթորինգ: Դրայվերների և կոնտեյներների ավտոմատ ստուգումներ:

Ինչպես սկսել Gemma-3-27B-ի տեղակայումից հետո¶

Վճարումից հետո գրանցված հասցեին կուղարկվի էլեկտրոնային նամակ, որտեղ նշված կլինի, որ սերվերը պատրաստ է աշխատանքի: Այն կներառի VPS IP հասցեն, ինչպեսզիք և գաղտնաբառը՝ սերվեր օգտագործելու համար, ինչպես նաև OpenWebUI վահանակին մուտք գործելու հղում: Մեր ընկերության հաճախորդները կարող են կառավարել սարքավորումները server management panel-ում և API-ում](../../controlpanel/index.md) — Invapi.

• Սերվերի օպերացիոն համակարգին մուտք գործելու նույնականացման տվյալները (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ ստացված էլեկտրոնային նամակով:

• Ollama control panel-ին մուտք գործելու հղումը Open Web UI վեբ ինտերֆեյսով: Invapi control panel-ի Configuration >> Tags թեբում, որտեղ կգտնվի webpanel թեգը: Հենց հղումը՝ https://gemma<Server_ID_from_Invapi>.hostkey.in ձևով, ուղարկվում է էլեկտրոնային նամակով սերվերի ազատվելու պահին:

Հենց սեղմեք webpanel թեգի հղման վրա, կբացվի Get started with Open WebUI մուտքի պատուհան, որտեղ պետք է ստեղծել ձեր chatbot-ի admin account-ի անուն, էլեկտրոնային հասցե և գաղտնաբառ, ապա սեղմեք Create Admin Account կոճակը:

Պատվիրել սերվեր Gemma-3-27B-ով՝ օգտագործելով API¶

Այս ծրագրային ապահովումը API-ի միջոցով տեղակայելու համար հետևեք այս հրահանգներին.