gpt-oss-20b¶
In dit artikel
Informatie
gpt-oss-20b is een middelgroot open-weight model van OpenAI, ontworpen voor efficiënte werking met lage latentie bij lokale implementaties of gespecialiseerde gebruiksscenario's. Het model heeft 20 miljard parameters, waarvan 3,6 miljard actief, waardoor het kan draaien op hardware met beperkte middelen, zoals apparaten met 16 GB geheugen. Het kan lokaal worden geïmplementeerd, inclusief op hardware voor consumentengebruik.
Hoofdfuncties van gpt-oss-20b¶
- Geoptimaliseerde architectuur: Het gpt-oss-20b-model heeft in totaal 20 miljard parameters en activeert slechts 3,6 miljard, wat zorgt voor hoge prestaties terwijl het efficiënt omgaat met middelen.
- Uitgebreide agent-mogelijkheden: Het model bevat ingebouwde mogelijkheden voor function calling, het bekijken van webpagina's, het uitvoeren van Python-code en het genereren van gestructureerde outputs. Het excelleert in het oplossen van taken en het aanroepen van tools.
- Redeneren met aanpasbare intensiteitsniveaus: Functioneel is het model een betrouwbare taakoplosser die methoden zoals chain-of-thought redenering ondersteunt. Het biedt drie aanpasbare niveaus van redeneringsintensiteit.
- Prestaties en compatibiliteit: Het gpt-oss-20b-model toont resultaten die vergelijkbaar zijn met OpenAI o3-mini op veelvoorkomende benchmarks. Dankzij optimalisatie kan het werken op edge-apparaten met 16 GB geheugen.
- Meertalige ondersteuning: Het model heeft meertalige functionaliteit. Voor optimale resultaten wordt aanbevolen om expliciet de doeltaal en culturele context voor interactie op te geven.
- Data-quantisatie: Ondersteuning voor het MXFP4-formaat zorgt voor efficiënte werking van het model op hardware met beperkte middelen, wat de algehele systeemprestaties verbetert.
Implementatiefuncties¶
| ID | Compatibel besturingssysteem | VM | BM | VGPU | GPU | Min CPU (kernen) | Min RAM (GB) | Min HDD/SSD (GB) | Actief |
|---|---|---|---|---|---|---|---|---|---|
| 345 | Ubuntu 22.04 GPU | - | - | + | + | 8 | 60 | 15 | ORDER |
Technische specificaties van de build:
- Ubuntu 22.04 met kernel bijgewerkt naar versie 6;
- Nieuwste Nvidia-drivers;
- CUDA Toolkit;
- Ollama voor het beheren van modellen;
- OpenWebUI voor webinterface.
Installatiefuncties:
- Installatietijd is 25-45 minuten, inclusief configuratie van het besturingssysteem;
- De Ollama-server laadt en voert het gpt-oss-20b-model uit in GPU/RAM-geheugen;
- Open WebUI wordt geïmplementeerd als een webapplicatie verbonden met de Ollama-server;
- Gebruikers interacteren met het model via de Open WebUI-webinterface voor programmeer- en agent-taken;
- Alle berekeningen en codeverwerking vinden lokaal op de server plaats;
- Beheerders kunnen het model configureren voor specifieke ontwikkelingstaken met behulp van OpenWebUI-tools;
- Ondersteuning voor verschillende quantisatieniveaus om geheugengebruik te optimaliseren.
Aan de slag na implementatie van gpt-oss-20b¶
Na betaling wordt er een melding over de serverklaarheid verzonden naar het e-mailadres dat tijdens de bestelling is geregistreerd. Hierin staan het VPS-IP-adres, de inloggegevens en het wachtwoord voor servertoegang, evenals een link naar het OpenWebUI-configuratiepaneel. Klanten beheren apparatuur via het Server Management Panel en API — Invapi.
- Inloggegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden verstuurd in het ontvangen e-mailbericht.
- Link naar het Ollama-configuratiepaneel met Open WebUI-webinterface: in de webpanel-tag in het tabblad Configuration >> Tags van het Invapi-configuratiepaneel. De exacte link, bijv.
https://gpt-oss<Server_ID_from_Invapi>.hostkey.in, wordt verstrekt in het e-mailbericht dat bij de levering van de server wordt verzonden.
Bij het eerste bezoek aan de link van de webpanel-tag opent er een welkomstpagina. Klik op de knop Get started om met de installatie te beginnen.
Na het klikken op de link van de tag webpanel opent er een inlogvenster Get started with Open WebUI, waar u een admin-accountnaam, e-mailadres en wachtwoord voor uw chatbot moet maken en vervolgens op de knop Create Admin Account drukt:
Let op
Na het registreren van de eerste gebruiker, wijst het systeem deze automatisch een administratorrol toe. Om veiligheid en controle over het registratieproces te waarborgen, moeten alle volgende registratieverzoeken worden goedgekeurd in OpenWebUI vanuit het administratoraccount.
Na succesvolle registratie opent het hoofdinterface van Open WebUI met toegang tot Gpt-oss-20b:
Opmerking
Gedetailleerde informatie over het gebruik van het Ollama-configuratiepaneel met Open WebUI is te vinden in het artikel AI Chatbot op uw eigen server.
Opmerking
Voor optimale werking met het gpt-oss-20b-model wordt aanbevolen om een GPU met minimaal 16 GB videogeheugen te gebruiken voor het 20B-model. Voor efficiënte verwerking van lange codecontexten en complexe agent-taken raden we aan GPUs met 24 GB videogeheugen te gebruiken. Gedetailleerde informatie over de belangrijkste Ollama-instellingen en Open WebUI is te vinden in de Ollama-ontwikkelaarsdocumentatie en in de Open WebUI-ontwikkelaarsdocumentatie.
Aanbevelingen voor gebruik
Om de efficiëntie van het gpt-oss 20B-model te maximaliseren, wordt aanbevolen om:
- Het model te gebruiken voor redereertaken, inclusief chain-of-thought-verwerking. Het model ondersteunt aanpasbare niveaus van redeneren: laag, medium en hoog, die worden geconfigureerd via een system prompt.
- De ingebouwde agent-mogelijkheden van het model te gebruiken, zoals function calling, Python-codeverwerking en gestructureerde outputs.
- Het model in te zetten voor meerstaps ontwikkelingstaken door gebruik te maken van de agent-mogelijkheden.
- Het model te integreren met bestaande ontwikkelingstools via API, rekening houdend met het feit dat het tuning ondersteunt en werkt in het OpenAI Harmony-responsformaat. Het model is ontworpen voor efficiënte implementatie met lage latentie, inclusief lokaal.
Een server met gpt-oss-20b bestellen via API¶
Om deze software via de API te installeren, volgt u deze instructies.