Gemma-3-27B¶
En este artículo
Información
Gemma-3-27B es un potente modelo de lenguaje que requiere recursos computacionales significativos para su implementación local a través de la plataforma Ollama. Este modelo tiene altos requisitos de hardware, particularmente en términos de volumen de memoria de GPU. La implementación se basa en Ubuntu 22.04 utilizando aceleradores gráficos NVIDIA modernos. La integración con Open Web UI proporciona una interfaz conveniente para interactuar con el modelo mientras se mantiene el control total sobre los datos y el procesamiento de solicitudes.
Características principales de Gemma-3-27B¶
- Arquitectura de alto rendimiento: El modelo tiene 27 mil millones de parámetros y está optimizado para manejar tareas complejas con alta precisión utilizando tecnologías modernas;
- Integración con Open Web UI: Proporciona una interfaz web moderna para una interacción conveniente con el modelo a través del puerto 8080, asegurando el control total sobre los datos y el procesamiento de solicitudes;
- Escalabilidad: Admite configuraciones de múltiples tarjetas y distribución de carga entre varias GPUs para un rendimiento óptimo;
- Seguridad y control: La implementación local completa garantiza la confidencialidad de los datos, mientras que la configuración de OLLAMA_HOST y OLLAMA_ORIGINS garantiza la seguridad de la red;
- Rendimiento: Utiliza la tecnología LLAMA_FLASH_ATTENTION para acelerar el procesamiento de solicitudes y optimizar el funcionamiento del modelo;
-
Fiabilidad: Un sistema integrado de reinicios automáticos para contenedores y servicios asegura un funcionamiento estable.
-
Ejemplos de uso:
- Soporte al cliente: Automatización de respuestas a preguntas de usuarios;
- Educación: Creación de materiales educativos, asistencia en la resolución de tareas;
- Marketing: Generación de textos publicitarios, análisis de reseñas;
- Desarrollo de software: Creación y documentación de código.
Funcionalidades de implementación¶
| ID | Nombre del software | SO compatible | VM | BM | VGPU | GPU | CPU mín. (núcleos) | RAM mín. (GB) | HDD/SSD mín. (GB) | Dominio personalizado | Activo |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 250 | Gemma-3-27b | Ubuntu 22.04 | - | - | + | + | 4 | 32 | - | No | ORDER |
- Tiempo de instalación: 15-30 minutos junto con el sistema operativo;
- El servidor Ollama carga y ejecuta el LLM en memoria;
- Open Web UI se implementa como una aplicación web conectada al servidor Ollama;
- Los usuarios interactúan con el LLM a través de la interfaz web de Open Web UI, enviando solicitudes y recibiendo respuestas;
- Todos los cálculos y el procesamiento de datos ocurren localmente en el servidor. Los administradores pueden configurar el LLM para tareas específicas utilizando las herramientas de Open Web UI.
Requisitos del sistema y especificaciones técnicas¶
-
Acelerador gráfico con soporte CUDA (una de las opciones, puede ser mejor):
- 2x NVIDIA A4000 (16/24 GB de memoria de video cada uno)
- 2x NVIDIA A5000 (24 GB de memoria de video cada uno)
- 1x NVIDIA A6000 (48 GB de memoria de video)
- 1x NVIDIA 5090 (32 GB de memoria de video)
-
Espacio en disco: SSD de tamaño suficiente para el sistema y el modelo;
- Software: Controladores NVIDIA y CUDA;
- Consumo de memoria de video: 28 GB con un contexto de 2K tokens;
- Monitoreo del sistema: Comprobaciones automáticas de controladores y contenedores.
Primeros pasos después de implementar Gemma-3-27B¶
Después del pago, se enviará un correo electrónico a la dirección registrada indicando que el servidor está listo para trabajar. Incluirá la dirección IP del VPS, así como el nombre de usuario y la contraseña para acceder al servidor y un enlace para acceder al panel de Open Web UI. Los clientes de nuestra empresa gestionan el equipo en el panel de gestión de servidores y API — Invapi.
-
Datos de autenticación para acceder al sistema operativo del servidor (por ejemplo, vía SSH) se le enviarán en el correo electrónico recibido.
-
Enlace para acceder al panel de control de Ollama con la interfaz web Open Web UI: En la etiqueta webpanel en la pestaña Configuration >> Tags del panel de control de Invapi. El enlace exacto en el formato
https://gemma<Server_ID_from_Invapi>.hostkey.inse envía en el correo electrónico cuando se libera el servidor.
Después de hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde debe crear un nombre de cuenta de administrador, correo electrónico y contraseña para su chatbot, luego presione el botón Create Admin Account:
Atención
Después de registrar el primer usuario, el sistema les asigna automáticamente un rol de administrador. Para garantizar la seguridad y el control sobre el proceso de registro, todas las solicitudes de registro posteriores deben aprobarse en Open Web UI desde la cuenta de administrador.
Nota
Información detallada sobre las características de trabajar con el panel de control de Ollama con Open Web UI se puede encontrar en el artículo Chatbot de IA en su propio servidor.
Nota
Para un rendimiento óptimo, se recomienda utilizar una GPU con más de los 16 GB mínimos requeridos de memoria de video. Esto proporciona un margen para procesar contextos grandes y solicitudes paralelas. Información detallada sobre la configuración principal de Ollama y Open Web UI se puede encontrar en documentación de desarrolladores de Ollama y documentación de desarrolladores de Open WebUI.
Ordenar un servidor con Gemma-3-27B usando API¶
Para instalar este software usando la API, siga estas instrucciones.
Algunos de los contenidos de esta página fueron creados o traducidos usando IA.