跳转至

Gemma-4-26B

在这篇文章中

这篇文章中

信息

Gemma-4-26B 是来自 Google 的下一代多模态大语言模型,可通过 Ollama 进行本地部署。其采用 Mixture of Experts (MoE) 架构,拥有 260 亿参数 (26 billion parameters)(其中每个 token 仅激活约 3.8B 参数),在保持与大型稠密模型相当的智能水平的同时,提供了与 4B 模型相媲美的性能。该模型支持 256K 上下文窗口 (context window)、Thinking Mode、原生函数调用 (function calling) 以及图像处理功能。在 Ubuntu 22.04 上部署并集成 Open WebUI,可确保完全的数据控制权和用户友好的交互界面。

核心功能

  • 混合专家 (MoE) 架构:模型总计 26B 参数中包含 25.2B 有效参数,每个 token 仅激活约 3.8B 参数;这使得它既拥有稠密 4B 模型的速度,又具备 26B 模型的智能水平;
  • 多模态能力:原生支持处理文本和图像输入并生成文本输出;
  • 超大上下文窗口:支持高达 256K tokens 的上下文,允许处理长文档、大型代码库和复杂的对话;
  • 思考模式 (Thinking Mode):一种可自定义的推理模式,用于解决复杂的逻辑与分析任务;
  • 智能体能力 (Agentic Capabilities):原生支持函数调用 (function calling) 和结构化输出,以便与外部工具和 API 的集成;
  • 部署灵活性:完整版本需要约 80GB VRAM,但 Q4 量化允许在 24GB GPU 上运行该模型,而优化后的构建版本可以在 16GB VRAM 上运行;
  • Open WebUI 集成:通过 8080 端口进行交互的现代化 Web 界面,可完全控制数据和请求处理;
  • 可扩展性:支持多 GPU 配置以及跨多个 GPU 的负载均衡;
  • 安全与控制:本地部署确保了数据隐私;OLLAMA_HOSTOLLAMA_ORIGINS 设置保证了网络安全;
  • 性能:利用 LLAMA_FLASH_ATTENTION 和高效的 MoE 架构来加速请求处理;
  • 容错性:内置容器和服务自动重启系统,以确保运行稳定。

部署功能

ID 软件名称 兼容操作系统 虚拟机 物理机 vGPU GPU 最低CPU(核) 最低内存(GB) 最低硬盘(GB) 自定义域名 是否启用
644 Gemma-4-26b Ubuntu 22.04 + + + + 8 12 40 订购

备注

除非另有说明,否则我们默认从开发者的网站或操作系统仓库安装软件的最新发布版本。

部署 Gemma-4-26B 后的入门指南

付款完成后,一旦服务器准备就绪,系统将向您注册时提供的电子邮件地址发送通知。该通知将包含 VPS IP 地址、连接服务器的登录名和密码,以及访问 Open WebUI 面板的链接。客户可以在 Server Control Panel and APIInvapi 中管理其硬件。

  • 用于访问服务器操作系统的授权凭据(例如通过 SSH)将通过电子邮件发送给您。

  • 访问带有 Open WebUI Web 界面的 Ollama 控制面板的链接:位于 Invapi 控制面板的 Configuration >> Tags 部分下的 webpanel 标签下。确切的链接格式为 https://gemma26b<Server_ID_from_Invapi>.hostkey.com,将在服务器交付时的电子邮件中发送。

点击来自 webpanel 标签的链接后,将打开 Get started with Open WebUI 授权窗口,您必须在此处为聊天机器人创建管理员用户名、电子邮件和密码,然后点击 Create Admin Account 按钮:

警告

在第一位用户注册后,系统会自动为其分配 Administrator 角色。为了确保注册过程的安全性和可控性,所有后续的注册请求必须由管理员账号在 Open WebUI 界面中进行审批。

备注

有关如何使用 Ollama 控制面板和 Open WebUI 的详细说明,请参阅 AI Chatbot on Your Own Server 文章。

备注

为了获得最佳性能,建议使用超过最低 24GB VRAM 要求的 GPU;这为处理大型上下文和并行请求提供了冗余空间。有关 Ollama 和 Open WebUI 核心设置的详细信息,请参阅 Ollama developer documentationOpen WebUI developer documentation

通过 API 订购带有 Gemma-4-26B 的服务器

要使用 API 安装此软件,请遵循这些说明

question_mark
Is there anything I can help you with?
question_mark
AI Assistant ×