Gemma-4-31B¶
在这篇文章中
信息
Gemma 4-31B 是 Gemma 4 系列中最大、最强大的模型，旨在解决最复杂的任务。与 MoE 版本不同，该模型采用经典的 Dense 架构，拥有 307 亿个参数，提供卓越的稳定性和推理深度。部署基于 Ubuntu 22.04 并需要大量的计算资源：完全运行大约需要 62 GB 的 VRAM；然而，通过 4-bit 量化，该模型可以在具有 20 GB 内存的系统上成功运行。与 Open WebUI 集成提供了一个便捷的界面来与模型进行交互，同时保持对数据的完全控制。
关键特性¶
- 强大的密集架构 (Dense Architecture)：该模型是 dense open-weights 类别中的佼者，提供最高质量的生成和分析；
- 原生多模态：架构支持同时处理文本和图像输入并输出文本；
- 海量上下文窗口 (Context Window)：支持高达 256K tokens，允许将整个代码库或长文档加载到内存中；
- 思考模式 (Thinking Mode)：模型能够在形成最终答案之前生成中间推理步骤；
- 智能体能力 (Agentic Capabilities)：内置对原生 function calling 的支持，简化了自主 AI agent 的创建；
- Open WebUI 集成：通过 8080 端口提供现代化的 Web 界面，以便与模型进行便捷交互，同时确保对数据和请求处理的完全控制；
- 可扩展性：支持多 GPU 配置，并能够将负载分配到多个 GPU 以实现最佳性能；
- 安全与控制：全本地部署确保了数据隐私，而
OLLAMA_HOST和OLLAMA_ORIGINS设置保证了网络安全； - 性能：使用
LLAMA_FLASH_ATTENTION技术来加速请求处理并优化模型运行； - 容错性：内置的容器和服务自动重启系统确保了稳定运行。
部署功能¶
| ID | 软件名称 | 兼容操作系统 | 虚拟机 | 物理机 | vGPU | GPU | 最低CPU(核) | 最低内存(GB) | 最低硬盘(GB) | 自定义域名 | 是否启用 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 647 | Gemma-4-31b | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | 否 | 订购 |
备注
除非另有说明，否则我们默认从开发者的网站或操作系统仓库安装软件的最新发布版本。
部署 Gemma-4-31B 后的入门指南¶
付款完成后，关于服务器就绪的通知将发送到注册时提供的电子邮件地址。邮件中将包含 VPS IP 地址、连接服务器的登录名和密码，以及访问 Open WebUI 面板的链接。客户通过 Server Control Panel and API — Invapi 来管理其硬件。
-
访问服务器操作系统的授权凭据（例如通过 SSH）将通过电子邮件发送给您。
-
访问带有 Open WebUI Web 界面的 Ollama 控制面板的链接：位于 Invapi 控制面板的 Configuration >> Tags 选项卡下的 webpanel 标签下。确切的链接格式为
https://gemma31b<Server_ID_from_Invapi>.hostkey.com，将在服务器交付时的电子邮件中发送。
点击来自 webpanel 标签的链接后，将打开 Get started with Open WebUI 授权窗口，您必须在此处为聊天机器人创建管理员用户名、电子邮件和密码，然后点击 Create Admin Account 按钮：
警告
在第一位用户注册后，系统会自动为其分配 Administrator 角色。为了确保对注册过程的安全和控制，所有后续的注册请求必须由管理员账号在 Open WebUI 界面中批准。
备注
有关如何通过 Open WebUI 使用 Ollama 控制面板的详细说明，请参阅 AI Chatbot on Your Own Server 文章。
备注
为了获得最佳性能，建议使用超过最低要求（24 GB VRAM）的 GPU，这为处理大型上下文和并行请求提供了余量。有关 Ollama 核心设置 and Open WebUI 设置的详细信息，可以在 Ollama developer documentation 和 Open WebUI developer documentation 中找到。