Gemma-3-27B¶

In dit artikel

• Belangrijkste functies van Gemma-3-27B
• Implementatiefuncties
• Systeemvereisten en technische specificaties
• Aan de slag na implementatie van Gemma-3-27B
• Bestel een server met Gemma-3-27B via API

Belangrijkste functies van Gemma-3-27B¶

• Hoogpresterende architectuur: Het model heeft 27 miljard parameters en is geoptimaliseerd voor het afhandelen van complexe taken met hoge nauwkeurigheid met behulp van moderne technologieën;
• Integratie met Open Web UI: Biedt een moderne webinterface voor handige interactie met het model via poort 8080, waarbij volledige controle over gegevens en verwerking van verzoeken wordt gegarandeerd;
• Schaalbaarheid: Ondersteunt configuraties met meerdere kaarten en werklastverdeling over meerdere GPUs voor optimale prestaties;
• Beveiliging en controle: Volledige lokale implementatie zorgt voor vertrouwelijkheid van gegevens, terwijl de instellingen OLLAMA_HOST en OLLAMA_ORIGINS netwerkbeveiliging garanderen;
• Prestaties: Maakt gebruik van LLAMA_FLASH_ATTENTION-technologie om de verwerking van verzoeken te versnellen en de werking van het model te optimaliseren;

• Betrouwbaarheid: Een geïntegreerd systeem van automatische herstarts voor containers en diensten zorgt voor stabiele werking.

• Gebruiksvoorbeelden:

  • Klantenservice: Automatisering van antwoorden op vragen van gebruikers;
  • Onderwijs: Het maken van educatief materiaal, bijstand bij het oplossen van taken;
  • Marketing: Het genereren van reclameteksten, het analyseren van recensies;
  • Softwareontwikkeling: Het maken en documenteren van code.

Implementatiefuncties¶

• Installatietijd: 15-30 minuten samen met het besturingssysteem;
• De Ollama-server laadt en voert LLM uit in het geheugen;
• Open WebUI wordt geïmplementeerd als een webapplicatie die is verbonden met de Ollama-server;
• Gebruikers communiceren met LLM via de Open WebUI-webinterface, waarbij ze verzoeken verzenden en antwoorden ontvangen;
• Alle berekeningen en gegevensverwerking vinden lokaal op de server plaats. Beheerders kunnen LLM configureren voor specifieke taken met behulp van OpenWebUI-tools.

Systeemvereisten en technische specificaties¶

• Grafische accelerator met CUDA-ondersteuning (een van de opties, kan beter zijn):

  • 2x NVIDIA A4000 (16/24 GB videogeheugen elk)
  • 2x NVIDIA A5000 (24 GB videogeheugen elk)
  • 1x NVIDIA A6000 (48 GB videogeheugen)
  • 1x NVIDIA 5090 (32 GB videogeheugen)

• Schijfruimte: SSD van voldoende grootte voor het systeem en het model;

• Software: NVIDIA-stuurprogramma's en CUDA;
• Videogeheugengebruik: 28 GB met een 2K token-context;
• Systeemmonitoring: Automatische controles van stuurprogramma's en containers.

Aan de slag na implementatie van Gemma-3-27B¶

Na betaling wordt er een e-mail verzonden naar het geregistreerde adres waarin wordt aangegeven dat de server klaar is voor gebruik. Deze bevat het VPS-IP-adres, evenals inloggegevens en wachtwoord voor toegang tot de server en een link voor toegang tot het OpenWebUI-paneel. Klanten van ons bedrijf beheren apparatuur in het serverbeheerpaneel en API — Invapi.

• Authenticatiegegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden naar u verzonden in de ontvangen e-mail.

• Link voor toegang tot het Ollama-beheerpaneel met Open WebUI-webinterface: In de webpanel tag in het tabblad Configuration >> Tags van het Invapi-beheerpaneel. De exacte link in de vorm https://gemma<Server_ID_from_Invapi>.hostkey.in wordt verzonden in de e-mail wanneer de server wordt vrijgegeven.

Na het klikken op de link vanuit de tag webpanel, opent er een Get started with Open WebUI inlogvenster, waar u een beheerdersaccountnaam, e-mailadres en wachtwoord voor uw chatbot moet maken, en vervolgens op de knop Create Admin Account moet drukken:

Bestel een server met Gemma-3-27B via API¶