Gemma-3-27B¶

在这篇文章中

• Gemma-3-27B 主要功能
• 部署功能
• 系统要求与技术规格
• 部署 Gemma-3-27B 后的入门指南
• 使用 API 订购带有 Gemma-3-27B 的服务器

Gemma-3-27B 主要功能¶

• 高性能架构：该模型拥有 270 亿参数，并针对使用现代技术高精度处理复杂任务进行了优化；
• 与 Open Web UI 集成：通过 8080 端口提供现代化的 Web 界面，以便于与模型进行便捷交互，同时确保对数据和请求处理的完全控制；
• 可扩展性：支持多显卡配置以及跨多个 GPU 的负载均衡，以实现最佳性能；
• 安全与控制：全本地部署确保了数据的私密性，而 OLLAMA_HOST 和 OLLAMA_ORIGINS 设置则保证了网络安全；
• 性能：使用 LLAMA_FLASH_ATTENTION 技术来加速请求处理并优化模型运行；

• 可靠性：集成的容器和服务自动重启系统确保了运行的稳定性。

• 应用示例：

  • 客户支持：自动化回复用户问题；
  • 教育：创建教学材料，辅助解决任务；
  • 市场营销：生成广告文本，分析评论；
  • 软件开发：编写和记录代码。

部署功能¶

• 安装时间：连同操作系统在 15-30 分钟内完成；
• Ollama 服务器将 LLM 加载并运行在内存中；
• Open WebUI 作为连接到 Ollama 服务器的 Web 应用程序进行部署；
• 用户通过 Open WebUI Web 界面与 LLM 进行交互，发送请求并接收响应；
• 所有计算和数据处理均在服务器本地完成。管理员可以使用 OpenWebUI 工具为特定任务配置 LLM。

系统要求与技术规格¶

• 图形加速器（需支持 CUDA 支持，以下为可选方案之一）：

  • 2x NVIDIA A4000 (每块显存 16/24 GB)
  • 2x NVIDIA A5000 (每块显存 24 GB)
  • 1x NVIDIA A6000 (显存 48 GB)
  • 1x NVIDIA 5090 (显存 32 GB)

• 磁盘空间：足以容纳系统和模型的 SSD；

• 软件：NVIDIA 驱动程序和 CUDA；
• 显存消耗：在 2K token 上下文下为 28 GB；
• 系统监控：对驱动程序和容器进行自动检查。

部署 Gemma-3-27B 后的入门指南¶

付款后，注册邮箱将收到一封邮件，告知服务器已准备就绪。邮件中将包含 VPS IP 地址、访问服务器的登录名和密码，以及访问 OpenWebUI 面板的链接。我们公司的客户可以在 in the server management panel and API —— Invapi 中管理设备。

• 访问服务器操作系统（例如通过 SSH）的身份验证数据 将在收到的邮件中发送给您。

• 访问带有 Open WebUI Web 界面的 Ollama 控制面板链接：位于 Invapi 控制面板的 Configuration >> Tags 选项卡下的 webpanel 标签中。服务器释放时，邮件中会发送格式为 https://gemma<Server_ID_from_Invapi>.hostkey.in 的确切链接。

点击来自 webpanel 标签的链接后，将打开 Get started with Open WebUI 登录窗口，您需要为您的聊天机器人创建管理员账号名称、电子邮件和密码，然后点击 Create Admin Account 按钮：

使用 API 订购带有 Gemma-3-27B 的服务器¶

要使用 API 安装此软件，请遵循 这些说明。