Llama-3.3-70B¶

En este artículo

• Características principales de Llama-3.3-70B
• Funcionalidades de implementación
• Requisitos del sistema y especificaciones técnicas
• Primeros pasos después de implementar Llama-3.3-70B
• Pedido de un servidor con Llama-3.3-70B mediante API

Características principales de Llama-3.3-70B¶

• Arquitectura de alto rendimiento: el modelo tiene 70 mil millones de parámetros y está optimizado para procesar tareas complejas con una precisión inigualable mediante tecnologías modernas de computación distribuida;

• Integración con Open Web UI: una interfaz web moderna disponible en el puerto 8080, que garantiza el control total sobre los datos, los recursos de computación y los procesos de procesamiento;

• Computación distribuida: soporte avanzado para configuraciones de múltiples tarjetas con equilibrio de carga automático entre varias GPUs;

• Escalabilidad: capacidad de escalar horizontalmente añadiendo GPUs adicionales para aumentar el rendimiento;

• Rendimiento: uso de la tecnología LLAMA_FLASH_ATTENTION para optimizar los cálculos y acelerar el procesamiento de solicitudes;

• Tolerancia a fallos: un sistema de recuperación automática garantiza el funcionamiento continuo.

• Ejemplos de uso:

  • Soporte al cliente: automatización de respuestas a consultas de usuarios;

  • Educación: creación de materiales educativos, asistencia en la resolución de problemas;

  • Marketing: generación de textos publicitarios, análisis de reseñas;

  • Desarrollo de software: creación y documentación de código.

Funcionalidades de implementación¶

• El tiempo de instalación es de 15 a 30 minutos, incluido el sistema operativo;

• El servidor Ollama carga y ejecuta el LLM en la memoria;

• Open WebUI se implementa como una aplicación web conectada al servidor Ollama;

• Los usuarios interactúan con el LLM a través de la interfaz web de Open WebUI, enviando solicitudes y recibiendo respuestas;

• Configuración para computación distribuida en sistemas de múltiples tarjetas;

• Sistema de monitorización del estado, incluida la temperatura y el rendimiento de la GPU;

• Optimización del trabajo paralelo de múltiples aceleradores gráficos;

• Todos los cálculos y el procesamiento de datos se realizan localmente en el servidor. Los administradores pueden configurar el LLM para tareas específicas mediante las herramientas de OpenWebUI.

Requisitos del sistema y especificaciones técnicas¶

• Acelerador gráfico con soporte CUDA (una de las opciones, puede haber mejores):

  • 1x NVIDIA H100
  • 2x NVIDIA A100 (48 GB de memoria de vídeo cada una)
  • 2x NVIDIA RTX 5090 (32 GB de memoria de vídeo cada una)
  • 2x NVIDIA A6000 (48 GB de memoria de vídeo cada una)
  • 3x NVIDIA RTX 4090 (24 GB de memoria de vídeo cada una)
  • 3x NVIDIA A5000 (24 GB de memoria de vídeo cada una)

• Espacio en disco: SSD de tamaño suficiente para el sistema y el modelo;

• Software: controladores NVIDIA y CUDA;

• Uso de memoria de vídeo: 53 GB con un contexto de 2K tokens;

• Monitorización del sistema: comprobación exhaustiva del estado de los controladores, los contenedores y la temperatura de la GPU.

Primeros pasos después de implementar Llama-3.3-70B¶

Tras el pago, se enviará un correo electrónico a la dirección registrada notificando que el servidor está listo para trabajar. Incluirá la dirección IP del VPS, así como la información de inicio de sesión y contraseña para conectarse al servidor y un enlace para acceder a OpenWebUI. Los clientes de nuestra empresa gestionan el equipo a través del panel de gestión de servidores y API — Invapi.

• Los datos de autenticación para acceder al sistema operativo del servidor (por ejemplo, mediante SSH) se le enviarán en el correo electrónico recibido.

• Enlace para acceder al panel de control de Ollama con la interfaz web Open WebUI: bajo la etiqueta webpanel en la pestaña Configuration >> Tags de la consola de gestión de Invapi. El enlace exacto en el formato https://llama<Server_ID_from_Invapi>.hostkey.in se envía por correo electrónico al entregar el servidor.

Al hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde deberá crear un nombre de cuenta de administrador, un correo electrónico y una contraseña para su chatbot, y luego presionar el botón Create Admin Account:

Pedido de un servidor con Llama-3.3-70B mediante API¶

Para instalar este software mediante la API, siga estas instrucciones.

Parte del contenido de esta página fue creado o traducido mediante IA.