Gemma-3-27B¶

In dit artikel

• Belangrijkste kenmerken van Gemma-3-27B
• Implementatiefuncties
• Systeemvereisten en technische specificaties
• Aan de slag na het implementeren van Gemma-3-27B
• Een server met Gemma-3-27B bestellen via API

Belangrijkste kenmerken van Gemma-3-27B¶

• High-performance architectuur: Het model heeft 27 miljard parameters en is geoptimaliseerd voor het uitvoeren van complexe taken met een hoge nauwkeurigheid met behulp van moderne technologieën;
• Integratie met Open Web UI: Biedt een moderne webinterface voor handige interactie met het model via poort 8080, wat volledige controle over gegevens en de verwerking van verzoeken garandeert;
• Schaalbaarheid: Ondersteunt multi-card configuraties en lastverdeling over meerdere GPU's voor optimale prestaties;
• Beveiliging en controle: Volledige lokale implementatie zorgt voor vertrouwelijkheid van gegevens, terwijl de instellingen OLLAMA_HOST en OLLAMA_ORIGINS de netwerkbeveiliging garanderen;
• Prestaties: Maakt gebruik van LLAMA_FLASH_ATTENTION technologie om de verwerking van verzoeken te versnellen en de werking van het model te optimaliseren;

• Betrouwbaarheid: Een geïntegreerd systeem van automatische herstarts voor containers en services zorgt voor een stabiele werking.

• Voorbeelden van gebruik:

  • Klantenservice: Het automatiseren van reacties op vragen van gebruikers;
  • Onderwijs: Het creëren van educatief materiaal, ondersteuning bij het oplossen van taken;
  • Marketing: Het genereren van advertentieteksten, het analyseren van reviews;
  • Softwareontwikkeling: Het schrijven en documenteren van code.

Implementatiefuncties¶

• Installatietijd: 15-30 minuten samen met het OS;
• De Ollama server laadt en draait de LLM in het geheugen;
• Open WebUI wordt geïnstalleerd als een webapplicatie die verbonden is met de Ollama server;
• Gebruikers communiceren met de LLM via de Open WebUI webinterface door verzoeken te sturen en antwoorden te ontvangen;
• Alle berekeningen en gegevensverwerking vinden lokaal plaats op de server. Beheerders kunnen de LLM configureren voor specifieke taken met behulp van OpenWebUI tools.

Systeemvereisten en technische specificaties¶

• Graphics Accelerator met CUDA-ondersteuning (een van de opties, kan beter zijn):

  • 2x NVIDIA A4000 (elk 16/24 GB videogeheugen)
  • 2x NVIDIA A5000 (elk 24 GB videogeheugen)
  • 1x NVIDIA A6000 (48 GB videogeheugen)
  • 1x NVIDIA 5090 (32 GB videogeheugen)

• Schijfruimte: SSD van voldoende grootte voor het systeem en het model;

• Software: NVIDIA drivers en CUDA;
• Verbruik videogeheugen: 28 GB met een context van 2K tokens;
• Systeemmonitoring: Automatische controles van drivers en containers.

Aan de slag na het implementeren van Gemma-3-27B¶

Na betaling wordt er een e-mail gestuurd naar het geregistreerde adres waarin staat dat de server klaar is voor gebruik. Deze bevat het VPS IP-adres, evenals de login en het wachtwoord om toegang te krijgen tot de server en een link om toegang te krijgen tot het OpenWebUI paneel. Klanten van ons bedrijf beheren apparatuur in het serverbeheerpaneel en API — Invapi.

• Authenticatiegegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden naar u verzonden in de ontvangen e-mail.

• Link voor toegang tot het Ollama controlepaneel met Open WebUI webinterface: In de webpanel tag onder het tabblad Configuration* >> **Tags van het Invapi controlepaneel. De exacte link in de vorm https://gemma<Server_ID_from_Invapi>.hostkey.in wordt per e-mail verzonden wanneer de server is vrijgegeven.

Nadat u op de link uit de tag webpanel heeft geklikt, wordt er een Get started with Open WebUI inlogvenster geopend, waar u een admin account naam, e-mailadres en wachtwoord voor uw chatbot moet aanmaken, en vervolgens op de Create Admin Account knop moet drukken:

Een server met Gemma-3-27B bestellen via API¶

Om deze software te installeren via de API, volgt u deze instructies.