Gemma-4-31B¶
In dit artikel
Informatie
Gemma 4-31B is het grootste en krachtigste model in de Gemma 4-familie, ontworpen om de meest complexe taken op te lossen. In tegenstelling tot de MoE-versie gebruikt dit model een klassieke Dense-architectuur met 30,7 miljard parameters, wat zorgt voor uitzonderlijke stabiliteit en diepgang in redeneren. De implementatie is gebaseerd op Ubuntu 22.04 en vereist aanzienlijke rekenkracht: volledige werking vereist ongeveer 62 GB VRAM; met 4-bit kwantisering draait het model echter succesvol op systemen met 20 GB geheugen. Integratie met Open WebUI biedt een handig interface voor interactie met het model, terwijl de volledige controle over gegevens behouden blijft.
Belangrijkste functies¶
- Krachtige Dense Architecture: Het model is een leider in de dense open-weights categorie en biedt de hoogste kwaliteit generatie en analyse;
- Native Multimodality: De architectuur ondersteunt gelijktijdige verwerking van tekst- en beeldinvoer met tekstuele uitvoer;
- Massive Context Window: Ondersteuning voor tot 256K tokens maakt het mogelijk om volledige coderepositories of lange documenten in het geheugen te laden;
- Thinking Mode: Het model is in staat om tussenliggende redeneerstappen te genereren voordat het uiteindelijke antwoord wordt geformuleerd;
- Agentic Capabilities: Ingebouwde ondersteuning voor native function calling vereenvoudigt de creatie van autonome AI-agenten;
- Open WebUI Integration: Biedt een moderne webinterface voor handige interactie met het model via poort 8080, wat volledige controle over gegevens en verwerking van verzoeken garandeert;
- Scalability: Ondersteuning voor multi-GPU-configuraties en de mogelijkheid om de belasting te verdelen over meerdere GPU's voor optimale prestaties;
- Security and Control: Volledige lokale implementatie waarborgt de privacy van gegevens, terwijl de
OLLAMA_HOSTenOLLAMA_ORIGINSinstellingen de netwerkbeveiliging garanderen; - Performance: Maakt gebruik van
LLAMA_FLASH_ATTENTION-technologie om de verwerking van verzoeken te versnellen en de werking van het model te optimaliseren; - Fault Tolerance: Een ingebouwd automatisch restartsysteem voor containers en services zorgt voor een stabiele werking.
Implementatiefuncties¶
| ID | Softwarenaam | Compatibel OS | VM | BM | VGPU | GPU | Min CPU (Kernen) | Min RAM (GB) | Min HDD/SSD (GB) | Aangepast Domein | Actief |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 647 | Gemma-4-31b | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Nee | BESTELLEN |
Opmerking
Tenzij anders aangegeven, installeren we standaard de nieuwste releaseversie van de software vanaf de website van de ontwikkelaar of uit de repositories van het besturingssysteem.
Aan de slag na het implementeren van Gemma-4-31B¶
Nadat de betaling is voltooid, wordt er een melding over de gereedheid van de server verzonden naar het e-mailadres dat tijdens de registratie is opgegeven. Deze bevat het VPS IP-adres, de login en het wachtwoord voor verbinding met de server, en een link om toegang te krijgen tot het Open WebUI paneel. Klanten beheren hun hardware via het Server Control Panel and API — Invapi.
-
Autorisatiegegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden naar u verzonden in een e-mail.
-
Link om toegang te krijgen tot het Ollama control panel met de Open WebUI webinterface: te vinden onder de webpanel tag in het tabblad Configuration >> Tags van het Invapi control paneel. De exacte link, geformatteerd als
https://gemma31b<Server_ID_from_Invapi>.hostkey.com, wordt verzonden in de e-mail die bij de levering van de server hoort.
Na het klikken op de link van de webpanel tag, wordt het autorisatiewindow Get started with Open WebUI geopend, waar u een administrator gebruikersnaam, e-mailadres en wachtwoord voor de chatbot moet aanmaken, en vervolgens op de knop Create Admin Account moet klikken:
Let op
Nadat de eerste gebruiker zich heeft geregistreerd, wijst het systeem deze automatisch de rol Administrator toe. Om de veiligheid en controle over het registratieproces te waarborgen, moeten alle volgende registratieverzoeken worden goedgekeurd in de Open WebUI-interface vanaf een administrator account.
Opmerking
Een gedetailleerde beschrijving van hoe u met het Ollama control paneel werkt via Open WebUI is te vinden in het artikel AI Chatbot on Your Own Server.
Opmerking
Voor optimale prestaties wordt het aanbevolen om een GPU te gebruiken met meer dan de minimale vereiste van 24 GB VRAM, wat extra ruimte biedt voor het verwerken van grote contexten en parallelle verzoeken. Gedetailleerde informatie over de kerninstellingen van Ollama en Open WebUI is te vinden in de Ollama developer documentation and de Open WebUI developer documentation.