Phi-4-14b¶

En este artículo

• Funcionalidades principales de Phi-4-14b
• Funcionalidades de implementación
• Requisitos del sistema y características técnicas
• Primeros pasos tras la implementación de Phi-4-14b
• Pedido de un servidor con Phi-4-14b mediante API

Funcionalidades principales de Phi-4-14b¶

• Potente arquitectura base: el modelo tiene 14 mil millones de parámetros y una ventana de contexto de 16 mil tokens, lo que le permite procesar textos largos y tareas complejas con alta precisión;

• Interfaz Open Web UI conveniente: proporciona una interfaz web moderna para interactuar con el modelo, incluyendo historial de chat, configuración de parámetros y gestión de diferentes modelos en una sola interfaz;

• Capacidades avanzadas de RAG: soporte integrado para la búsqueda de documentos en varios formatos (PDF, PPT, archivos de texto) y web scraping, lo que permite al modelo trabajar con información actualizada y datos del usuario;

• Multitarea: el modelo maneja eficientemente diversas tareas, incluyendo gestión de diálogos, respuesta a preguntas, análisis de datos, creación de textos y programación básica;

• Seguridad y precisión: el modelo se sometió a un entrenamiento de múltiples etapas considerando las preferencias del usuario bajo supervisión experta, garantizando una alta precisión en las respuestas, el cumplimiento de las normas éticas y el seguimiento de las instrucciones del usuario;

• Apertura y flexibilidad: gracias al código abierto de Ollama, el sistema puede configurarse y modificarse para necesidades específicas, incluyendo la integración con otras herramientas y servicios;

• Soporte para varios tipos de datos: el modelo es capaz de trabajar con datos de texto, código, datos estructurados y semiestructurados, ampliando su aplicabilidad en diversos campos.

• Ejemplos de uso:

  • Atención al cliente: automatización de respuestas a las preguntas de los usuarios;

  • Educación: creación de materiales educativos, asistencia en la resolución de tareas;

  • Marketing: generación de textos publicitarios, análisis de reseñas;

  • Desarrollo de software: creación y documentación de código.

Funcionalidades de implementación¶

• El servidor Ollama carga y ejecuta el LLM en memoria;
• Open WebUI se despliega como una aplicación web conectada al servidor Ollama;
• Los usuarios interactúan con el LLM a través de la interfaz web de Open WebUI, enviando solicitudes y recibiendo respuestas;
• Todos los cálculos y el procesamiento de datos ocurren localmente en el servidor. Los administradores pueden configurar el LLM para tareas específicas a través de las herramientas de OpenWebUI.

Requisitos del sistema y características técnicas¶

• Acelerador gráfico: NVIDIA A4000 (o más potente) o un equivalente de AMD con al menos 16 GB de memoria de video;

• Espacio en disco: suficiente para instalar el sistema, los controladores y el modelo;

• Controladores: controladores NVIDIA y CUDA para el funcionamiento correcto de la GPU;

• Consumo de memoria de video: 12 GB con un contexto de 2K tokens;

• Reinicio automático: se configura el reinicio automático del contenedor en caso de fallos;

• Soporte para GPU: integración completa con NVIDIA CUDA para obtener el máximo rendimiento.

Primeros pasos tras la implementación de Phi-4-14b¶

Tras el pago, se enviará una notificación de pedido al correo electrónico especificado durante el registro indicando que el servidor está listo para su uso. Incluirá la dirección IP del VPS, así como el login y la contraseña para conectarse al servidor y un enlace para acceder al panel OpenWebUI. Los clientes de nuestra empresa gestionan el equipo en el panel de gestión del servidor y control API — Invapi.

• Los datos de acceso (Login Data) para acceder al sistema operativo del servidor (por ejemplo, vía SSH) se le enviarán en el correo electrónico recibido.

• Enlace para acceder al panel de gestión de Ollama con la interfaz web Open WebUI: en la etiqueta webpanel en la pestaña Configuration >> Tags del panel de control Invapi. El enlace exacto con el formato https://phi<Server_ID_from_Invapi>.hostkey.in se enviará en el correo electrónico tras la entrega del servidor.

Tras hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde deberá crear un nombre de cuenta de administrador, correo electrónico y contraseña para su chatbot, y luego presionar el botón Create Admin Account:

Pedido de un servidor con Phi-4-14b mediante API¶

Para instalar este software utilizando la API, siga estas instrucciones.