GPT-4o es un modelo de lenguaje grande omnimodal desarrollado por OpenAI, presentado el 13 de mayo de 2024. El modelo amplía las capacidades de sus predecesores al procesar y generar texto, audio e imágenes en tiempo real, lo que permite conversaciones de voz naturales y comprensión visual con baja latencia. GPT-4o está diseñado para manejar entradas y salidas mixtas, lo que representa un paso significativo hacia una interacción más similar a la humana con sistemas de inteligencia artificial.
GPT-4o se basa en la arquitectura transformador, aprovechando técnicas de aprendizaje profundo y un entrenamiento extenso en diversos conjuntos de datos. Se entrena mediante una combinación de métodos de aprendizaje automático, incluidos RLHF y aprendizaje curricular, para alinear las respuestas con las preferencias humanas y mejorar el razonamiento entre modalidades. La arquitectura del modelo integra mecanismos de atención de múltiples cabezas y atención cruzada, lo que le permite procesar y fusionar información de diferentes tipos de entrada simultáneamente.
Capacidades y rendimiento
GPT-4o logra resultados de vanguardia en diversos puntos de referencia, incluidas tareas basadas en texto, reconocimiento de voz y respuesta a preguntas visuales. Demuestra tiempos de respuesta casi instantáneos, con una latencia de entrada a salida de audio de hasta 320 milisegundos, comparable a la velocidad de conversación humana. El modelo sobresale en la comprensión multilingüe, con soporte para más de 50 idiomas, y muestra un rendimiento mejorado en texto no inglés en comparación con modelos anteriores. En las evaluaciones, GPT-4o supera a GPT-4 en tareas como comprensión visual y transcripción de audio, manteniendo un rendimiento competitivo en los puntos de referencia estándar de procesamiento de lenguaje natural.
Arquitectura y entrenamiento
El modelo emplea una red neuronal unificada que procesa entradas de texto, audio e imagen a través de un marco compartido de codificador-decodificador. A diferencia de los modelos anteriores que requerían canalizaciones separadas para cada modalidad, GPT-4o utiliza una única estructura codificador-decodificador con codificación posicional para manejar datos secuenciales. El entrenamiento implicó una combinación de ajuste fino supervisado y RLHF, con un enfoque en mejorar la seguridad y reducir las alucinaciones. Los datos de entrenamiento incluyen corpus de texto, audio e imagen disponibles públicamente, filtrados para eliminar contenido dañino. OpenAI también utilizó técnicas de aumento de datos para aumentar la robustez y la generalización.
Disponibilidad y despliegue
GPT-4o está disponible a través de la API de OpenAI, así como en productos de consumo como ChatGPT (niveles gratuito y Plus) y la aplicación móvil de ChatGPT. También está integrado en el servicio OpenAI de Microsoft Azure, lo que permite a los clientes empresariales acceder al modelo a través de infraestructura en la nube. El modelo se ofrece en múltiples versiones, incluida una variante ligera (GPT-4o mini) para aplicaciones sensibles al costo. OpenAI ha lanzado el modelo con una estructura de precios escalonada, lo que lo hace más accesible que los modelos insignia anteriores.
Impacto y recepción
El lanzamiento de GPT-4o fue recibido con gran atención debido a sus capacidades conversacionales en tiempo real y su expresión emocional en las interacciones de voz. Suscitó debates sobre el futuro de la IA generativa y sus implicaciones para la educación, el servicio al cliente y la accesibilidad. Investigadores y desarrolladores elogiaron su baja latencia e integración multimodal, mientras que algunos expresaron preocupación por el posible uso indebido y la necesidad de medidas de seguridad sólidas. El modelo ha sido adoptado por diversas industrias, incluidas la atención médica (por ejemplo, Commure), la navegación (por ejemplo, TomTom) y la conducción autónoma (por ejemplo, Waymo), lo que demuestra su versatilidad.
Comparación con competidores
GPT-4o compite con modelos de Anthropic (serie Claude 3) y Google DeepMind (Gemini 1.5). Si bien los competidores ofrecen sólidas capacidades de texto y multimodales, GPT-4o se distingue por su procesamiento de audio nativo y su interacción en tiempo real. En comparaciones directas, GPT-4o muestra un rendimiento superior en la comprensión de audio y tiempos de respuesta más rápidos, aunque Claude y Gemini pueden sobresalir en ciertas tareas de razonamiento. El modelo también se beneficia del extenso ecosistema de OpenAI y de la integración con herramientas como Amazon Web Services y Oracle Cloud para el despliegue empresarial.
Direcciones futuras
OpenAI continúa iterando sobre GPT-4o, con actualizaciones centradas en mejorar el razonamiento, reducir los sesgos y ampliar las capacidades multimodales. El éxito de GPT-4o ha acelerado la investigación sobre sistemas omnimodales, influyendo en otros laboratorios y empresas emergentes. Las versiones futuras podrían incorporar memoria más avanzada, personalización y aprendizaje en tiempo real, ampliando los límites de la inteligencia artificial.