Gemma-3-27B¶
在这篇文章中
信息
Gemma-3-27B 是一个强大的语言模型，通过 Ollama 平台进行本地部署需要大量的计算资源。该模型对硬件要求较高，尤其是在 GPU 显存容量方面。部署基于 Ubuntu 22.04 并使用现代 NVIDIA 图形加速器。与 Open Web UI 的集成提供了与模型交互的便捷界面，同时保持对数据和请求处理的完全控制。
Gemma-3-27B 的主要功能¶
- 高性能架构：该模型拥有 270 亿个参数，并针对使用现代技术以高精度处理复杂任务进行了优化；
- 与 Open Web UI 集成：通过 8080 端口提供现代 Web 界面，以便与模型进行便捷交互，确保对数据和请求处理的完全控制；
- 可扩展性：支持多卡配置和跨多个 GPU 的负载分布，以实现最佳性能；
- 安全性与控制：完全本地部署确保数据保密性，而 OLLAMA_HOST 和 OLLAMA_ORIGINS 设置保证网络安全；
- 性能：使用 LLAMA_FLASH_ATTENTION 技术加速请求处理并优化模型运行；
-
可靠性：容器和服务的自动重启集成系统确保稳定运行。
-
使用示例：
- 客户支持：自动化响应用户问题；
- 教育：创建教育材料，协助解决任务；
- 营销：生成广告文案，分析评论；
- 软件开发：创建和编写代码文档。
部署功能¶
| ID | 软件名称 | 兼容操作系统 | 虚拟机 | 物理机 | vGPU | GPU | 最低CPU(核) | 最低内存(GB) | 最低硬盘(GB) | 自定义域名 | 是否启用 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 250 | Gemma-3-27b | Ubuntu 22.04 | - | - | + | + | 4 | 32 | - | 否 | 订购 |
- 安装时间：连同操作系统一起 15-30 分钟；
- Ollama 服务器在内存中加载并运行 LLM；
- Open WebUI 作为连接到 Ollama 服务器的 Web 应用程序部署；
- 用户通过 Open WebUI Web 界面与 LLM 交互，发送请求并接收响应；
- 所有计算和数据处理均在服务器本地进行。管理员可以使用 OpenWebUI 工具为特定任务配置 LLM。
系统要求和技术规格¶
-
图形加速器 支持 CUDA（以下选项之一，可能更好）：
- 2x NVIDIA A4000（每个 16/24 GB 显存）
- 2x NVIDIA A5000（每个 24 GB 显存）
- 1x NVIDIA A6000（48 GB 显存）
- 1x NVIDIA 5090（32 GB 显存）
-
磁盘空间：足够大的 SSD 用于系统和模型；
- 软件：NVIDIA 驱动程序和 CUDA；
- 显存消耗：2K token 上下文时为 28 GB；
- 系统监控：驱动程序和容器的自动检查。
部署 Gemma-3-27B 后的入门指南¶
付款后，将向注册地址发送电子邮件，通知服务器已准备好工作。邮件中将包含 VPS IP 地址、访问服务器的登录名和密码，以及访问 OpenWebUI 面板的链接。我们公司的客户在 服务器管理面板和 API — Invapi 中管理设备。
-
访问服务器操作系统的身份验证数据（例如，通过 SSH）将通过收到的电子邮件发送给您。
-
访问带有 Open WebUI Web 界面的 Ollama 控制面板的链接：在 Invapi 控制面板的 Configuration >> Tags 选项卡中的 webpanel 标签下。确切链接格式为
https://gemma<Server_ID_from_Invapi>.hostkey.in，在服务器释放时通过电子邮件发送。
点击 webpanel 标签中的链接后，将打开 Get started with Open WebUI 登录窗口，您需要在此处为您的聊天机器人创建管理员账户名称、电子邮件和密码，然后按下 Create Admin Account 按钮：
警告
注册第一个用户后，系统会自动为其分配管理员角色。为了确保安全并控制注册过程，所有后续的注册请求必须从 OpenWebUI 的管理员账户批准。
备注
有关使用带有 Open WebUI 的 Ollama 控制面板的详细功能信息，请参阅文章 AI Chatbot on Your Own Server。
备注
为了获得最佳性能，建议使用显存大于最低要求 16 GB 的 GPU。这为处理大型上下文和并行请求提供了缓冲。有关 Ollama 主要设置和 Open WebUI 的详细信息，请参阅 Ollama 开发者文档 和 Open WebUI 开发者文档。