Gemma-4-26B¶

In dit artikel

• Belangrijkste kenmerken
• Implementatiekenmerken
• Aan de slag na het implementeren van Gemma-4-26B
• Een server bestellen met Gemma-4-26B via de API

Belangrijkste kenmerken¶

• Mixture of Experts (MoE) Architecture: Het model bevat 25,2B actieve parameters van de in totaal 26B; er worden slechts ~3,8B parameters per token geactiveerd; dit biedt de snelheid van een dense 4B-model met het intelligentieniveau van een 26B-model;
• Multimodality: Native ondersteuning voor het verwerken van tekst- en beeldinvoer met tekstuele outputgeneratie;
• Massive Context Window: Ondersteuning voor tot 256K tokens maakt het werken met lange documenten, grote codebases en complexe dialogen mogelijk;
• Thinking Mode: Een aanpasbare redeningsmodus voor het oplossen van complexe logische en analytische taken;
• Agentic Capabilities: Native ondersteuning voor function calling en gestructureerde output voor integratie met externe tools and API's;
• Deployment Flexibility: De volledige versie vereist ~80GB VRAM, maar Q4-quantization maakt het mogelijk om het model op een 24GB GPU te draaien, terwijl geoptimaliseerde builds kunnen draaien op 16GB VRAM;
• Open WebUI Integration: Een moderne webinterface voor interactie via poort 8080 met volledige controle over gegevens en verwerking van verzoeken;
• Scalability: Ondersteuning voor multi-GPU-configuraties and load balancing over meerdere GPU's;
• Security and Control: Lokale implementatie garandeert gegevensprivacy; de OLLAMA_HOST en OLLAMA_ORIGINS instellingen garanderen netwerkbeveiliging;
• Performance: Gebruik van LLAMA_FLASH_ATTENTION en een efficiënte MoE-architectuur om de verwerking van verzoeken te versnellen;
• Fault Tolerance: Ingebouwd automatisch restartsysteem voor containers en services om een stabiele werking te garanderen.

Implementatiekenmerken¶

Aan de slag na het implementeren van Gemma-4-26B¶

Nadat de betaling is voltooid, wordt er een melding naar het e-mailadres gestuurd dat tijdens de registratie is opgegeven zodra de server klaar is voor gebruik. Deze melding bevat het VPS IP-adres, de login en het wachtwoord voor de serververbinding, en een link om toegang te krijgen tot het Open WebUI paneel. Klanten kunnen hun hardware beheren in het Server Control Panel and API — Invapi.

• Autorisatiegegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden per e-mail naar u verzonden.

• Link om toegang te krijgen tot het Ollama control panel met de Open WebUI webinterface: te vinden onder de webpanel tag in de sectie Configuration >> Tags van het Invapi control paneel. De exacte link, geformatteerd als https://gemma26b<Server_ID_from_Invapi>.hostkey.com, wordt verzonden in de e-mail die bij de overdracht van de server wordt geleverd.

Na het klikken op de link van de webpanel tag, wordt het Get started with Open WebUI autorisatiewenster geopend, waar u een gebruikersnaam voor de administrator, e-mailadres en wachtwoord voor de chatbot moet aanmaken, en vervolgens op de Create Admin Account knop moet klikken:

Een server bestellen met Gemma-4-26B via de API¶

Om deze software te installeren met behulp van de API, volgt u deze instructies.