gpt-oss-120b¶
在这篇文章中
信息
gpt-oss-120b 是 OpenAI 提供的一个具有开放权重的大规模模型，专为需要深度推理、多步规划以及与工具进行复杂交互的高性能任务而设计。该模型包含 1200 亿个参数，其中每次推理大约激活 210 亿个参数，在计算能力与效率之间取得了平衡。得益于先进的量化方法和优化，gpt-oss-120b 可以部署在拥有 70 GB 或更多显存的服务器硬件上，并支持可扩展的本地或混合部署。
gpt-oss-120b 的主要功能¶
- 具有条件激活的可扩展架构：该模型包含 1200 亿个参数，但通过稀疏激活（sparse activation）机制，每次请求仅激活大约 210 亿个参数。这在保证质量的同时显著降低了内存和计算资源的需求。
- 先进的智能体（Agent）能力：gpt-oss-120b 支持扩展的工具集，包括代码执行、实时网络搜索、API 调用以及生成严格结构化的输出（JSON、XML 等）。这使其成为自主智能体和复杂自动化系统的理想基础。
- 自适应推理：该模型实现了灵活的推理级别系统——从快速的直接响应到多步思维链（chain-of-thought）和决策树。用户可以根据任务的复杂性控制“思考深度”。
- 基准测试中的高性能：gpt-oss-120b 在需要逻辑、数学、编程以及跨学科知识综合的任务中，表现出与 o3 和 o4 级别专有模型相当的结果。
- 广泛的多语言支持：该模型基于 50 多种语言的数据进行训练，能够在多语言和多文化环境中有效运行。为了获得最佳效果，建议在提示词中明确指定语言和文化框架。
- 高效的量化与兼容性：对 MXFP4 和 INT4 格式的支持允许显著减少内存使用并加速输出，而不会造成实质性的质量损失。该模型与 vLLM、GGUF 和 Hugging Face Transformers 等流行框架兼容。
部署功能¶
| ID | 软件名称 | 兼容操作系统 | 虚拟机 | 物理机 | vGPU | GPU | 最低CPU(核) | 最低内存(GB) | 最低硬盘(GB) | 自定义域名 | 是否启用 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 415 | gpt-oss:120b | Ubuntu 22.04 | - | - | + | + | 16 | 128 | 240 | 否 | 订购 |
构建的技术规格：
- 内核更新至版本 6 的 Ubuntu 22.04；
- 最新的 Nvidia 驱动程序；
- CUDA Toolkit；
- 用于管理模型的 Ollama；
- 用于 Web 界面的 OpenWebUI。
安装特点：
- 安装时间为 35-45 分钟，包括操作系统设置；
- Ollama 服务器在 GPU/RAM 内存中加载并运行 gpt-oss-120b 模型；
- Open WebUI 作为连接到 Ollama 服务器的 Web 应用程序部署；
- 用户通过 Open WebUI Web 界面与模型交互，以进行编程和智能体任务；
- 所有计算和代码处理均在服务器本地进行；
- 管理员可以使用 OpenWebUI 工具为特定的开发任务配置模型；
- 支持各种量化级别以优化内存使用。
部署 gpt-oss-120b 后的入门指南¶
付款后，服务器就绪的通知将发送至订购时注册的电子邮件。该邮件将包含 VPS IP 地址、服务器访问的登录名和密码，以及 OpenWebUI 控制面板的链接。客户通过 服务器管理面板和 API — Invapi 管理设备。
- 操作系统服务器访问凭据（例如通过 SSH）将在收到的电子邮件中发送。
- 带有 Open WebUI Web 界面的 Ollama 控制面板链接：位于 Invapi 控制面板的 webpanel 标签中，路径为 Configuration >> Tags tab。确切的链接，例如
https://gpt-oss<Server_ID_from_Invapi>.hostkey.in，将在服务器交付时发送的电子邮件中提供。
首次访问 webpanel 标签链接时，将打开欢迎页面。点击 Get started 按钮开始设置。
点击 webpanel 标签中的链接后，将打开 Get started with Open WebUI 登录窗口，您需要在此处创建聊天机器人的管理员账户名称、电子邮件和密码，然后按下 Create Admin Account 按钮：
注意
注册第一个用户后，系统会自动为其分配管理员角色。为了确保安全并控制注册过程，所有后续的注册请求都必须从 OpenWebUI 的管理员账户批准。
成功注册后，将打开具有 gpt-oss-120b 访问权限的主 Open WebUI 界面：
备注
有关使用带有 Open WebUI 的 Ollama 控制面板的详细信息，请参阅文章 AI Chatbot on Your Own Server。
备注
为了与 gpt-oss-120b 模型配合实现最佳运行效果，建议使用显存至少为 70 GB 的 GPU 用于 120B 模型。为了高效处理长代码上下文和复杂的智能体任务，我们建议使用显存为 80 GB 的 GPU。有关 Ollama 设置和 Open WebUI 的详细信息，请参阅 Ollama 开发者文档 和 Open WebUI 开发者文档。
使用建议
为了最大化 gpt-oss-120b 模型的效率，建议：
- 将模型用于推理任务，包括思维链处理。该模型支持可调整的推理级别：低、中、高，这些级别通过系统提示词进行配置。
- 利用模型内置的智能体功能，如函数调用、Python 代码执行和结构化输出。
- 利用其智能体能力，将模型用于多阶段开发任务。
- 通过 API 将模型与现有开发工具集成，考虑到它支持微调并以 OpenAI Harmony 响应格式运行。该模型旨在实现低延迟的高效部署，包括本地部署。