North Mini Code 1.0¶
在这篇文章中
信息
North Mini Code 1.0 是 Cohere Labs 为开发者推出的首个专用模型，专为代码生成和软件智能体工程而设计。该模型采用混合专家 (MoE) 架构，总参数量为 300 亿，其中每个 token 仅激活 30 亿参数。这使得它在保持高性能的同时，仅需相对适中的内存需求：在 Ollama 中，该模型占用约 19 GB 内存，并支持高达 488K tokens 的惊人上下文窗口。基于 Ubuntu 22.04 并集成 Open WebUI 的部署方式提供了用户友好的界面，并能实现对机密源代码的完全控制。
North Mini Code 1.0 的关键特性¶
- 高效的 MoE 架构：30B 总参数量，仅需 3B 激活参数，确保了极高的代码生成速度和较低的计算资源消耗；
- 超大上下文窗口：原生支持 256K tokens，在 Ollama 中可扩展至 488K，允许将整个代码库和海量文档加载到内存中；
- 软件智能体工程：该模型经过专门优化，可作为自主编程器和任务规划器运行；
- 本地执行：其紧凑的尺寸使得这款强大的模型可以在现代 GPU 上运行；
- Open WebUI 集成：通过 8080 端口提供现代化的 Web 界面，以便与模型进行轻松交互，确保对数据和请求处理的完全控制；
- 可扩展性：支持多 GPU 配置，并能够将负载分布到多个 GPU 上以实现最佳性能；
- 安全与控制：全本地部署确保了数据隐私，而
OLLAMA_HOST和OLLAMA_ORIGINS设置则保证了网络安全； - 性能：利用高效的注意力机制来加速请求处理并优化模型运行；
- 容错性：内置容器和服务自动重启系统，确保稳定运行。
部署功能¶
| ID | 软件名称 | 兼容操作系统 | 虚拟机 | 物理机 | vGPU | GPU | 最低CPU(核) | 最低内存(GB) | 最低硬盘(GB) | 自定义域名 | 是否启用 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | 否 | 订购 |
备注
除非另有说明，否则我们默认从开发者的网站或操作系统仓库安装该软件的最新发布版本。
部署 North Mini Code 1.0 后的入门指南¶
付款完成后，关于服务器就绪状态的通知将发送到注册时提供的电子邮件地址。该邮件将包含 VPS IP 地址、连接服务器的登录名和密码，以及访问 Open WebUI 面板的链接。客户可以在 Server Control Panel and API — Invapi 中管理其硬件。
-
访问服务器操作系统的授权凭据（例如通过 SSH）将通过电子邮件发送给您。
-
访问带有 Open WebUI Web 界面的 Ollama 控制面板的链接：位于 Invapi 控制面板的 Configuration >> Tags 部分下的 webpanel 标签下。确切的链接格式为
https://north-mini<Server_ID_from_Invapi>.hostkey.com，将在服务器交付时的电子邮件中发送。
点击 webpanel 标签中的链接后，将打开 Get started with Open WebUI 授权窗口，您必须在此处为聊天机器人创建管理员用户名、电子邮件和密码，然后点击 Create Admin Account 按钮：
警告
在第一位用户注册后，系统会自动为其分配 Administrator 角色。为了确保对注册过程的安全和控制，所有后续的注册请求都必须由管理员账号在 Open WebUI 界面中进行批准。
备注
有关如何通过 Open WebUI 使用 Ollama 控制面板的详细说明，请参阅 AI Chatbot on Your Own Server 文章。
备注
为了获得最佳性能，建议使用显存大于最低要求 24 GB VRAM 的 GPU，这为处理大型上下文和并行请求提供了冗余空间。有关 Ollama 和 Open WebUI 设置的详细信息，请参阅 Ollama developer documentation 和 Open WebUI developer documentation。