Gemma-3-27B¶

Այս հոդվածում

• Gemma-3-27B-ի հիմնական հնարավորությունները
• Տեղակայման հնարավորություններ
• Համակարգի պահանջներ և տեխնիկական բնութագրեր
• Սկսել Gemma-3-27B տեղակայելուց հետո
• Պատվիրել սերվեր Gemma-3-27B-ով API-ի միջոցով

Gemma-3-27B-ի հիմնական հնարավորությունները¶

• Բարձր արդյունավետության ճարտարապետություն. Մոդելն ունի 27 միլիարդ պարամետր և օպտիմալացված է բարդ խնդիրները ժամանակակից տեխնոլոգիաների միջոցով բարձր ճշգրտությամբ մշակելու համար.
• Ինտեգրում Open Web UI-ի հետ. Տրամադրում է ժամանակակից վեբ ինտերֆեյս մոդելի հետ հարմարավետ փոխազդելու համար 8080 պորտի միջոցով՝ ապահովելով տվյալների և հարցումների մշակման վրա ամբողջական վերահսկողություն.
• Մասշտաբայնություն. Տեղադրում է բազմաքարտ կոնֆիգուրացիաներ և բեռի բաշխումը մի քանի GPU-ների միջև օպտիմալ արդյունավետության համար.
• Անվտանգություն և վերահսկողություն. Տեղական տեղակայումը ապահովում է տվյալների գաղտնիությունը, մինչդեռ OLLAMA_HOST և OLLAMA_ORIGINS կարգավորումները երաշխավորում են ցանցային անվտանգությունը.
• Արդյունավետություն. Օգտագործում է LLAMA_FLASH_ATTENTION տեխնոլոգիան հարցումների մշակումը արագացնելու և մոդելի աշխատանքը օպտիմալացնելու համար.

• Հուսալիություն. Կոնտեյներների և ծառայությունների ավտոմատ վերագործարկման ինտեգրված համակարգը ապահովում է կայուն աշխատանք։

• Օգտագործման օրինակներ.

  • Հաճախորդների աջակցություն. Օգտատերերի հարցերին պատասխանների ավտոմատացում.
  • Կրթություն. Կրթական նյութերի ստեղծում, խնդիրների լուծման մեջ օգնություն.
  • Մարքեթինգ. Վաճառքի տեքստերի գեներացում, կարծիքների վերլուծություն.
  • Ծրագրային ապահովման մշակում. Կոդի ստեղծում և փաստաթղթավորում։

Տեղակայման հնարավորություններ¶

• Ինստալյացիայի ժամանակը. 15-30 րոպե՝ միասին օպերացիոն համակարգի հետ.
• Ollama սերվերը բեռնում և գործարկում է LLM հիշողության մեջ.
• Open WebUI-ն տեղակայված է որպես վեբ հավելված, որը միացված է Ollama սերվերին.
• Օգտատերերը փոխազդում են LLM-ի հետ Open WebUI վեբ ինտերֆեյսի միջոցով՝ ուղարկելով հարցումներ և ստանալով պատասխաններ.
• Բոլոր հաշվարկները և տվյալների մշակումը տեղի են ունենում տեղական սերվերի վրա։ Ադմինիստրատորները կարող են կարգավորել LLM-ը կոնկրետ խնդիրների համար՝ օգտագործելով OpenWebUI գործիքները։

Համակարգի պահանջներ և տեխնիկական բնութագրեր¶

• Գրաֆիկական արագացուցիչ CUDA աջակցությամբ (ընտրություններից մեկը, կարող է լավ լինել).

  • 2x NVIDIA A4000 (16/24 GB վիդեո հիշողություն յուրաքանչյուրը)
  • 2x NVIDIA A5000 (24 GB վիդեո հիշողություն յուրաքանչյուրը)
  • 1x NVIDIA A6000 (48 GB վիդեո հիշողություն)
  • 1x NVIDIA 5090 (32 GB վիդեո հիշողություն)

• Դիսկային տարածք. SSD բավարար չափսով համակարգի և մոդելի համար.

• Ծրագրային ապահովում. NVIDIA դրայվերներ և CUDA.
• Վիդեո հիշողության սպառում. 28 GB 2K տոկենային համատեքստով.
• Համակարգի մոնիտորինգ. Դրայվերների և կոնտեյներների ավտոմատ ստուգումներ։

Սկսել Gemma-3-27B տեղակայելուց հետո¶

Վճարումից հետո գրանցված հասցեին կուղարկվի էլ. փոստ, որը կուղեկցվի սերվերի պատրաստ լինելու մասին։ Այն կներառի VPS IP հասցեն, ինչպես նաև սերվերին մուտք գործելու համար օգտատերի անունը և գաղտնաբառը, ինչպես նաև OpenWebUI վահանակին մուտք գործելու հղում։ Մեր ընկերության հաճախորդները կառավարում են սարքավորումները սերվերի կառավարման վահանակում և API-ում — Invapi։

• Մուտք գործելու տվյալներ սերվերի օպերացիոն համակարգ (օրինակ՝ SSH-ի միջոցով) կուղարկվեն ձեզ ստացված էլ. փոստով։

• Հղում Ollama կառավարման վահանակին մուտք գործելու համար Open WebUI վեբ ինտերֆեյսով. webpanel թեգում Configuration >> Tags Invapi կառավարման վահանակում։ Ճշգրիտ հղումը https://gemma<Server_ID_from_Invapi>.hostkey.in ձևաչափով ուղարկվում է էլ. փոստով, երբ սերվերը արձակվում է։

Թեգի հղումը սեղմելուց հետո webpanel, կբացվի Get started with Open WebUI մուտքի պատուհան, որտեղ անհրաժեշտ է ստեղծել ադմինիստրատորի անուն, էլ. փոստ և գաղտնաբառ ձեր չատբոտի համար, այնուհետև սեղմել Create Admin Account կոճակը.

Պատվիրել սերվեր Gemma-3-27B-ով API-ի միջոցով¶