North Mini Code 1.0¶
In dit artikel
Informatie
North Mini Code 1.0 is het eerste gespecialiseerde model voor ontwikkelaars van Cohere Labs, ontworpen voor codegeneratie en software agent engineering. Het model maakt gebruik van een Mixture-of-Experts (MoE) architectuur met in totaal 30 miljard parameters, waarvan er slechts 3 miljard per token worden geactiveerd. Dit zorgt voor hoge prestaties bij relatief bescheiden geheugenvereisten: in Ollama neemt het model ongeveer 19 GB in beslag en ondersteunt het een indبrukwekkend contextvenster van tot wel 488K tokens. Implementatie op basis van Ubuntu 22.04 met Open WebUI-integratie biedt een gebruiksvriendelijke interface en volledige controle over vertrouwelijke broncode.
Belangrijkste kenmerken van North Mini Code 1.0¶
- Efficiënte MoE-architectuur: 30B totale parameters met slechts 3B actief, wat zorgt voor een hoge snelheid bij codegeneratie en een laag verbruik van rekenkracht;
- Gigantisch contextvenster: Native ondersteuning voor 256K tokens, uitbreidbaar tot 488K in Ollama, waardoor volledige codebases en omvangrijke documentatie in het geheugen kunnen worden geladen;
- Software Agent Engineering: Het model is specifiek geoptimaliseerd om te functioneren als een autonome programmeur en taakplanner;
- Lokale uitvoering: Door de compacte grootte is dit krachtige model beschikbaar voor gebruik op moderne GPU's;
- Open WebUI Integratie: Biedt een moderne webinterface voor eenvoudige interactie met het model via poort 8080, wat volledige controle over gegevens en verwerking van verzoeken garandeert;
- Schaalbaarheid: Ondersteuning voor multi-GPU-configuraties en de mogelijkheid om belastingen te verdelen over meerdere GPU's voor optimale prestaties;
- Beveiliging en controle: Volledige lokale implementatie garandeert gegevensprivacy, terwijl
OLLAMA_HOSTandOLLAMA_ORIGINSinstellingen netwerkbeveiliging garanderen; - Prestaties: Maakt gebruik van efficiënte attention-mechanismen om de verwerking van verzoeken te versnellen en de werking van het model te optimaliseren;
- Fouttolerantie: Het ingebouwde automatische restartsysteem voor containers en services zorgt voor een stabiele werking.
Implementatiefuncties¶
| ID | Softwarenaam | Compatibel OS | VM | BM | VGPU | GPU | Min CPU (Kernen) | Min RAM (GB) | Min HDD/SSD (GB) | Aangepast Domein | Actief |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Nee | BESTELLEN |
Opmerking
Tenzij anders aangegeven, installeren we standaard de nieuwste releaseversie van de software vanaf de website van de ontwikkelaar of uit de repositories van het besturingssysteem.
Aan de slag na het implementeren van North Mini Code 1.0¶
Nadat de betaling is voltooid, wordt er een melding over de gereedheid van de server verzonden naar het e-mailadres dat tijdens de registratie is opgegeven. Deze e-mail bevat het VPS IP-adres, de login en het wachtwoord om verbinding te maken met de server, en een link om toegang te krijgen tot het Open WebUI paneel. Klanten kunnen hun hardware beheren in het Server Control Panel and API — Invapi.
-
Autorisatiegegevens voor toegang tot het besturingssysteem van de server (bijv. via SSH) worden naar u verzonden in een e-mail.
-
Link om toegang te krijgen tot het Ollama controlepaneel met de Open WebUI webinterface: te vinden onder de webpanel tag in de Configuration >> Tags sectie van het Invapi controlepaneel. De exacte link, geformatteerd als
https://north-mini<Server_ID_from_Invapi>.hostkey.com, wordt verzonden in de e-mail die bij de levering van de server hoort.
Nadat u op de link onder de webpanel tag heeft geklikt, wordt het Get started with Open WebUI autorisatiewindow geopend, waar u een administrator gebruikersnaam, e-mailadres en wachtwoord voor de chatbot moet aanmaken, en vervolgens op de Create Admin Account knop moet klikken:
Let op
Nadat de eerste gebruiker zich heeft geregistreerd, wijst het systeem deze automatisch de rol Administrator toe. Om de veiligheid en controle over het registratieproces te waarborgen, moeten alle volgende registratieverzoeken worden goedgekeurd in de Open WebUI interface vanaf een administrator account.
Opmerking
Een gedetailleerde beschrijving van hoe u met het Ollama controlepaneel werkt via Open WebUI is te vinden in het artikel AI Chatbot on Your Own Server.
Opmerking
Voor optimale prestaties wordt het aanbevolen om een GPU te gebruiken met meer dan de minimale vereiste van 24 GB VRAM, wat extra ruimte biedt voor het verwerken van grote contexten en parallelle verzoeken. Gedetailleerde informatie over de kerninstellingen van Ollama en Open WebUI is te vinden in de Ollama developer documentation and de Open WebUI developer documentation.