gpt-oss-20b¶
En este artículo
Información
gpt-oss-20b es un modelo de pesos abiertos de tamaño medio de OpenAI, diseñado para un funcionamiento eficiente con baja latencia en implementaciones locales o casos de uso especializados. El modelo tiene 20 mil millones de parámetros, de los cuales 3.6 mil millones están activos, lo que le permite ejecutarse en hardware con recursos limitados, como dispositivos con 16 GB de memoria. Se puede implementar localmente, incluso en hardware de consumo.
Características principales de gpt-oss-20b¶
- Arquitectura optimizada: El modelo gpt-oss-20b tiene 20 mil millones de parámetros en total y activa solo 3.6 mil millones, lo que garantiza un alto rendimiento mientras utiliza los recursos de manera eficiente.
- Capacidades de agente extendidas: El modelo incluye capacidades integradas para llamadas a funciones, visualización de páginas web, ejecución de código Python y generación de resultados estructurados. Destaca en la resolución de tareas y la invocación de herramientas.
- Razonamiento con niveles de intensidad ajustables: Funcionalmente, el modelo es un solucionador de tareas fiable que admite métodos como el razonamiento en cadena de pensamiento. Ofrece tres niveles personalizables de intensidad de razonamiento.
- Rendimiento y compatibilidad: El modelo gpt-oss-20b muestra resultados comparables a OpenAI o3-mini en pruebas comunes. Gracias a la optimización, puede operar en dispositivos periféricos con 16 GB de memoria.
- Soporte multilingüe: El modelo tiene funcionalidad multilingüe. Para obtener resultados óptimos, se recomienda especificar explícitamente el idioma objetivo y el contexto cultural para la interacción.
- Cuantización de datos: El soporte para el formato MXFP4 garantiza un funcionamiento eficiente del modelo en hardware con recursos limitados, mejorando el rendimiento general del sistema.
Funcionalidades de implementación¶
| ID | SO compatible | VM | BM | VGPU | GPU | CPU mín. (núcleos) | RAM mín. (GB) | HDD/SSD mín. (GB) | Activo |
|---|---|---|---|---|---|---|---|---|---|
| 345 | Ubuntu 22.04 GPU | - | - | + | + | 8 | 60 | 15 | ORDER |
Especificaciones técnicas de la compilación:
- Ubuntu 22.04 con kernel actualizado a la versión 6;
- Últimos controladores de Nvidia;
- CUDA Toolkit;
- Ollama para la gestión de modelos;
- OpenWebUI para la interfaz web.
Características de la instalación:
- El tiempo de instalación es de 25 a 45 minutos, incluida la configuración del sistema operativo;
- El servidor Ollama carga y ejecuta el modelo gpt-oss-20b en la memoria GPU/RAM;
- Open WebUI se implementa como una aplicación web conectada al servidor Ollama;
- Los usuarios interactúan con el modelo a través de la interfaz web de Open WebUI para tareas de programación y agentes;
- Todos los cálculos y el procesamiento de código ocurren localmente en el servidor;
- Los administradores pueden configurar el modelo para tareas de desarrollo específicas utilizando las herramientas de OpenWebUI;
- Soporte para varios niveles de cuantización para optimizar el uso de la memoria.
Primeros pasos después de implementar gpt-oss-20b¶
Tras el pago, se enviará una notificación sobre la preparación del servidor al correo electrónico registrado durante el pedido. Incluirá la dirección IP del VPS, el nombre de usuario y la contraseña para acceder al servidor, así como un enlace al panel de control de OpenWebUI. Los clientes gestionan el equipo a través del Panel de gestión de servidores y API — Invapi.
- Credenciales para el acceso al servidor del sistema operativo (por ejemplo, vía SSH) se enviarán en el correo electrónico recibido.
- Enlace al panel de control de Ollama con la interfaz web de Open WebUI: en la etiqueta webpanel en la pestaña Configuration >> Tags del panel de control de Invapi. El enlace exacto, por ejemplo,
https://gpt-oss<Server_ID_from_Invapi>.hostkey.in, se proporciona en el correo electrónico enviado tras la entrega del servidor.
Al visitar por primera vez el enlace de la etiqueta webpanel, se abrirá una página de bienvenida. Haga clic en el botón Get started para comenzar la configuración.
Después de hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde deberá crear un nombre de cuenta de administrador, un correo electrónico y una contraseña para su chatbot, y luego presionar el botón Create Admin Account:
Atención
Después de registrar el primer usuario, el sistema les asigna automáticamente un rol de administrador. Para garantizar la seguridad y el control sobre el proceso de registro, todas las solicitudes de registro posteriores deben aprobarse en OpenWebUI desde la cuenta de administrador.
Tras un registro exitoso, se abrirá la interfaz principal de Open WebUI con acceso a Gpt-oss-20b:
Nota
Puede encontrar información detallada sobre el uso del panel de control de Ollama con Open WebUI en el artículo Chatbot de IA en su propio servidor.
Nota
Para un funcionamiento óptimo con el modelo gpt-oss-20b, se recomienda utilizar una GPU con al menos 16 GB de memoria de vídeo para el modelo de 20B. Para un procesamiento eficiente de contextos de código largos y tareas de agente complejas, recomendamos utilizar GPUs con 24 GB de memoria de vídeo. Puede encontrar información detallada sobre la configuración principal de Ollama y Open WebUI en la documentación del desarrollador de Ollama y en la documentación del desarrollador de Open WebUI.
Recomendaciones de uso
Para maximizar la eficiencia del modelo gpt-oss 20B, se recomienda:
- Utilizar el modelo para tareas de razonamiento, incluido el procesamiento en cadena de pensamiento. El modelo admite niveles de razonamiento ajustables: bajo, medio y alto, que se configuran a través de un mensaje del sistema.
- Aprovechar las capacidades de agente integradas del modelo, como llamadas a funciones, ejecución de código Python y resultados estructurados.
- Emplear el modelo para tareas de desarrollo en múltiples etapas aprovechando sus capacidades de agente.
- Integrar el modelo con las herramientas de desarrollo existentes a través de la API, teniendo en cuenta que admite ajuste y opera en el formato de respuesta OpenAI Harmony. El modelo está diseñado para una implementación eficiente con baja latencia, incluida la implementación local.
Pedido de un servidor con gpt-oss-20b mediante API¶
Para instalar este software mediante la API, siga estas instrucciones.
Parte del contenido de esta página fue creado o traducido utilizando IA.