Llama-3.3-70B¶

En este artículo

• Funcionalidades principales de Llama-3.3-70B
• Funcionalidades de implementación
• Requisitos del sistema y especificaciones técnicas
• Primeros pasos tras implementar Llama-3.3-70B
• Pedir un servidor con Llama-3.3-70B mediante API

Funcionalidades principales de Llama-3.3-70B¶

• Arquitectura de alto rendimiento: el modelo tiene 70 mil millones de parámetros y está optimizado para procesar tareas complejas con una precisión inigualable mediante tecnologías modernas de computación distribuida;

• Integración con Open Web UI: una interfaz web moderna disponible en el puerto 8080, que garantiza un control total sobre los datos, los recursos informáticos y los procesos de procesamiento;

• Computación distribuida: soporte avanzado para configuraciones multi-tarjeta con equilibrado de carga automático entre múltiples GPUs;

• Escalabilidad: la capacidad de escalar horizontalmente añadiendo GPUs adicionales para aumentar el rendimiento;

• Rendimiento: uso de la tecnología LLAMA_FLASH_ATTENTION para optimizar los cálculos y acelerar el procesamiento de solicitudes;

• Tolerancia a fallos: un sistema de recuperación automática garantiza un funcionamiento continuo.

• Ejemplos de uso:

  • Atención al cliente: automatización de respuestas a las consultas de los usuarios;

  • Educación: creación de materiales educativos, asistencia en la resolución de problemas;

  • Marketing: generación de textos publicitarios, análisis de reseñas;

  • Desarrollo de software: creación y documentación de código.

Funcionalidades de implementación¶

• El servidor Ollama carga y ejecuta el LLM en memoria;
• Open WebUI se despliega como una aplicación web conectada al servidor Ollama;
• Los usuarios interactúan con el LLM a través de la interfaz web de Open WebUI, enviando solicitudes y recibiendo respuestas;
• Todos los cálculos y el procesamiento de datos ocurren localmente en el servidor. Los administradores pueden configurar el LLM para tareas específicas mediante las herramientas de OpenWebUI.

Requisitos del sistema y especificaciones técnicas¶

• Acelerador gráfico con soporte CUDA (una de las opciones, puede ser mejor):

  • 1x NVIDIA H100
  • 2x NVIDIA A100 (48 GB de memoria de vídeo cada una)
  • 2x NVIDIA RTX 5090 (32 GB de memoria de vídeo cada una)
  • 2x NVIDIA A6000 (48 GB de memoria de vídeo cada una)
  • 3x NVIDIA RTX 4090 (24 GB de memoria de vídeo cada una)
  • 3x NVIDIA A5000 (24 GB de memoria de vídeo cada una)

• Espacio en disco: SSD de tamaño suficiente para el sistema y el modelo;

• Software: controladores NVIDIA y CUDA;

• Uso de memoria de vídeo: 53 GB con un contexto de 2K tokens;

• Monitorización del sistema: comprobación exhaustiva del estado de los controladores, contenedores y la temperatura de la GPU.

Primeros pasos tras implementar Llama-3.3-70B¶

Tras el pago, se enviará un correo electrónico a la dirección de correo registrada notificándole que el servidor está listo para trabajar. Incluirá la dirección IP del VPS, así como la información de inicio de sesión y Contraseña para conectarse al servidor y un enlace para acceder a OpenWebUI. Los clientes de nuestra empresa gestionan el equipo a través de el panel de gestión del servidor y API — Invapi.

• Los datos de autenticación para acceder al sistema operativo del servidor (por ejemplo, mediante SSH) se le enviarán en el correo electrónico recibido.

• Enlace para el acceso al panel de control de Ollama con la interfaz web Open WebUI: bajo la etiqueta webpanel en la pestaña Configuration >> Tags del panel de gestión de Invapi. El enlace exacto con el formato https://llama<Server_ID_from_Invapi>.hostkey.in se envía por correo electrónico tras la entrega del servidor.

Tras hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde deberá crear un nombre de cuenta de administrador, correo electrónico y Contraseña para su chatbot, y luego presionar el botón Create Admin Account:

Pedir un servidor con Llama-3.3-70B mediante API¶

Para instalar este software utilizando la API, siga estas instrucciones.