North Mini Code 1.0¶
En este artículo
Información
North Mini Code 1.0 es el primer modelo especializado para desarrolladores de Cohere Labs, diseñado para la generación de código y la ingeniería de agentes de software. El modelo utiliza una arquitectura Mixture-of-Experts (MoE) con un total de 30 mil millones de parámetros, de los cuales solo 3 mil millones se activan por token. Esto permite un alto rendimiento con requisitos de memoria relativamente modestos: en Ollama, el modelo ocupa unos 19 GB y admite una impresionante ventana de contexto de hasta 488K tokens. El despliegue basado en Ubuntu 22.04 con integración de Open WebUI proporciona una interfaz fácil de usar y un control total sobre el código fuente confidencial.
Características principales de North Mini Code 1.0¶
- Arquitectura MoE eficiente: 30B de parámetros totales con solo 3B activos, lo que garantiza una alta velocidad de generación de código y un bajo consumo de recursos computacionales;
- Ventana de contexto gigante: Soporte nativo para 256K tokens, ampliable hasta 488K en Ollama, lo que permite cargar bases de código completas y documentación voluminosa en la memoria;
- Ingeniería de agentes de software: El modelo está optimizado específicamente para funcionar como un codificador autónomo y planificador de tareas;
- Ejecución local: Su tamaño compacto hace que este potente modelo esté disponible para ejecutarse en GPUs modernas;
- Integración con Open WebUI: Proporciona una interfaz web moderna para una interacción sencilla con el modelo a través del puerto 8080, garantizando un control total sobre los datos y el procesamiento de las solicitudes;
- Escalabilidad: Soporte para configuraciones multi-GPU y la capacidad de distribuir cargas entre varias GPUs para un rendimiento óptimo;
- Seguridad y control: El despliegue local completo garantiza la privacidad de los datos, mientras que los ajustes
OLLAMA_HOSTyOLLAMA_ORIGINSgarantizan la seguridad de la red; - Rendimiento: Utiliza mecanismos de atención eficientes para acelerar el procesamiento de solicitudes y optimizar la operación del modelo;
- Tolerancia a fallos: El sistema de reinicio automático integrado para contenedores y servicios garantiza un funcionamiento estable.
Funciones de despliegue¶
| ID | Nombre del Software | SO Compatible | VM | BM | VGPU | GPU | CPU Mín. (Núcleos) | RAM Mín. (GB) | HDD/SSD Mín. (GB) | Dominio Personalizado | Activo |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | No | PEDIR |
Nota
A menos que se especifique lo contrario, instalamos por defecto la última versión de lanzamiento del software desde el sitio web del desarrollador o los repositorios del sistema operativo.
Primeros pasos tras el despliegue de North Mini Code 1.0¶
Una vez completado el pago, se enviará una notificación sobre la preparación del servidor a la dirección de correo electrónico proporcionada durante el registro. Este correo electrónico contendrá la dirección IP del VPS, el login y la contraseña para conectarse al servidor, y un enlace para acceder al panel Open WebUI. Los clientes pueden gestionar su hardware en el Server Control Panel and API — Invapi.
-
Las credenciales de autorización para acceder al sistema operativo del servidor (por ejemplo, vía SSH) se le enviarán por correo electrónico.
-
Enlace para acceder al panel de control de Ollama con la interfaz web Open WebUI: ubicado bajo la etiqueta webpanel en la sección Configuration >> Tags del panel de control Invapi. El enlace exacto, con el formato
https://north-mini<Server_ID_from_Invapi>.hostkey.com, se envía en el correo electrónico proporcionado tras la entrega del servidor.
Tras hacer clic en el enlace de la etiqueta webpanel, se abrirá la ventana de autorización Get started with Open WebUI, donde deberá crear un nombre de usuario de administrador, un correo electrónico y una contraseña para el chatbot, y luego hacer clic en el botón Create Admin Account:
Atención
Después de que se registre el primer usuario, el sistema le asigna automáticamente el rol de Administrator. Para garantizar la seguridad y el control sobre el proceso de registro, todas las solicitudes de registro posteriores deben ser aprobadas en la interfaz de Open WebUI desde una cuenta de administrador.
Nota
Puede encontrar una descripción detallada de cómo trabajar con el panel de control de Ollama a través de Open WebUI en el artículo AI Chatbot on Your Own Server.
Nota
Para un rendimiento óptimo, se recomienda utilizar una GPU con más de los requisitos mínimos de 24 GB de VRAM, lo que proporciona margen para el procesamiento de contextos grandes y solicitudes paralelas. Puede encontrar información detallada sobre la configuración principal de Ollama y Open WebUI en la documentación para desarrolladores de Ollama y la documentación para desarrolladores de Open WebUI.