Phi-4-14b¶

En este artículo

• Características principales de Phi-4-14b
• Funcionalidades de implementación
• Requisitos del sistema y características técnicas
• Primeros pasos después de implementar Phi-4-14b
• Ordenar un servidor con Phi-4-14b usando la API

Características principales de Phi-4-14b¶

• Arquitectura base potente: el modelo tiene 14 mil millones de parámetros y una ventana de contexto de 16 mil tokens, lo que le permite procesar textos largos y tareas complejas con alta precisión;

• Interfaz Open Web UI conveniente: proporciona una interfaz web moderna para interactuar con el modelo, incluyendo historial de chat, configuración de parámetros y gestión de diferentes modelos en una sola interfaz;

• Capacidades avanzadas de RAG: soporte integrado para buscar documentos en varios formatos (PDF, PPT, archivos de texto) y extracción de datos web, permitiendo que el modelo trabaje con información actual y datos de usuario;

• Multitarea: el modelo maneja eficientemente varias tareas, incluyendo gestión de diálogos, respuesta a preguntas, análisis de datos, creación de texto y programación básica;

• Seguridad y precisión: el modelo pasó por un entrenamiento en múltiples etapas considerando las preferencias del usuario bajo supervisión experta, asegurando alta precisión de las respuestas, adherencia a normas éticas y seguimiento de las instrucciones del usuario;

• Apertura y flexibilidad: gracias al código abierto de Ollama, el sistema puede configurarse y modificarse para necesidades específicas, incluyendo integración con otras herramientas y servicios;

• Soporte para varios tipos de datos: el modelo es capaz de trabajar con datos de texto, código, datos estructurados y semiestructurados, ampliando su aplicabilidad en diversos campos.

• Ejemplos de uso:

  • Soporte al cliente: automatización de respuestas a preguntas de usuarios;

  • Educación: creación de materiales educativos, asistencia en la resolución de tareas;

  • Marketing: generación de textos publicitarios, análisis de reseñas;

  • Desarrollo de software: creación y documentación de código.

Funcionalidades de implementación¶

• El tiempo de instalación es de 15-30 minutos junto con el sistema operativo;

• El servidor Ollama carga y ejecuta el LLM en memoria;

• Open WebUI se implementa como una aplicación web conectada al servidor Ollama;

• Los usuarios interactúan con el LLM a través de la interfaz web de Open WebUI, enviando solicitudes y recibiendo respuestas;

• Todos los cálculos y el procesamiento de datos ocurren localmente en el servidor. Los administradores pueden configurar el LLM para tareas específicas utilizando las herramientas de OpenWebUI.

Requisitos del sistema y características técnicas¶

• Acelerador gráfico: NVIDIA A4000 (o más potente) o un equivalente de AMD con al menos 16 GB de memoria de video;

• Espacio en disco: suficiente para instalar el sistema, controladores y modelo;

• Controladores: controladores NVIDIA y CUDA para el correcto funcionamiento de la GPU;

• Consumo de memoria de video: 12 GB con un contexto de 2K tokens;

• Reinicio automático: se configura el reinicio automático del contenedor en caso de fallos;

• Soporte de GPU: integración completa con NVIDIA CUDA para máximo rendimiento.

Primeros pasos después de implementar Phi-4-14b¶

Después del pago, se enviará una notificación de pedido al correo electrónico especificado durante el registro indicando que el servidor está listo para su uso. Incluirá la dirección IP del VPS, así como el nombre de usuario y la contraseña para conectarse al servidor y un enlace para acceder al panel OpenWebUI. Los clientes de nuestra empresa gestionan el equipo en el panel de control de gestión de servidores y API — Invapi.

• Datos de inicio de sesión para acceder al sistema operativo del servidor (por ejemplo, vía SSH) se le enviarán en el correo electrónico recibido.

• Enlace para acceder al panel de gestión de Ollama con la interfaz web Open WebUI: en la etiqueta webpanel en la pestaña Configuration >> Tags del panel de control Invapi. El enlace exacto en el formato https://phi<Server_ID_from_Invapi>.hostkey.in se enviará en el correo electrónico al entregar el servidor.

Después de hacer clic en el enlace de la etiqueta webpanel, se abrirá una ventana de inicio de sesión Get started with Open WebUI, donde debe crear un nombre de cuenta de administrador, correo electrónico y contraseña para su chatbot, luego presione el botón Create Admin Account:

Ordenar un servidor con Phi-4-14b usando la API¶

Para instalar este software usando la API, siga estas instrucciones.

Parte del contenido de esta página fue creado o traducido usando IA.