GPT-4 es un modelo de lenguaje grande desarrollado por OpenAI, lanzado el 14 de marzo de 2023, como el cuarto de su serie de modelos fundacionales GPT. Es un modelo multimodal, que acepta tanto texto como imágenes como entrada, y se destaca por su sólido rendimiento en diversos puntos de referencia, incluyendo pruebas estandarizadas y tareas de codificación. OpenAI no ha revelado detalles técnicos como el tamaño del modelo, la arquitectura o el hardware de entrenamiento, citando preocupaciones competitivas y de seguridad. GPT-4 está precedido por GPT-3.5 y seguido por GPT-5; una versión llamada GPT-4V maneja entradas de imágenes, y el modelo posterior GPT-4o (mayo de 2024) se extiende al procesamiento de audio y video en tiempo real. GPT-4 se integró en Bing Chat de Microsoft en febrero de 2023, se lanzó en ChatGPT en marzo de 2023 y se eliminó de ChatGPT en 2025, aunque sigue disponible a través de la API de OpenAI.
Antecedentes y Desarrollo
OpenAI presentó el primer modelo GPT en 2018, basado en la arquitectura transformer, entrenado con corpus de libros para la comprensión del lenguaje. GPT-2 (2019) fue un modelo más grande capaz de generar texto coherente, y GPT-3 (2020) escaló los parámetros más de 100 veces en comparación con GPT-2. GPT-3.5 impulsó el chatbot ChatGPT lanzado a finales de 2022. GPT-4 se construyó sobre esta línea, incorporando mejoras en el aprendizaje multimodal, aprendizaje por refuerzo y alineación de seguridad. Una versión temprana se probó en Bing Chat desde febrero de 2023, dando a los usuarios de Microsoft acceso anticipado antes del lanzamiento público.
Capacidades y Características
El modelo GPT-4 predeterminado tenía una ventana de contexto de 8K tokens, con una versión especial de API que soportaba hasta 32K tokens. A diferencia de sus predecesores, podía procesar imágenes, permitiendo a los usuarios subir fotos para análisis o preguntas. El modelo podía ser instruido para interactuar con herramientas externas, como búsquedas web usando etiquetas <search>, lo que le permitía obtener información en tiempo real y realizar tareas más allá de la predicción de texto, incluyendo llamadas a API y generación de imágenes. En noviembre de 2023, OpenAI anunció GPT-4 Turbo y GPT-4 Turbo con Visión, ofreciendo una ventana de contexto de 128K a un costo menor.
Rendimiento en Pruebas Estandarizadas
GPT-4 demostró una alta aptitud en varios exámenes. En las Pruebas de Pensamiento Creativo de Torrance, obtuvo una puntuación dentro del 1% superior en originalidad y fluidez, con puntuaciones de flexibilidad que oscilaban entre el percentil 93 y 99. Investigadores de Microsoft encontraron que GPT-4 superó la puntuación de aprobación en el USMLE por más de 20 puntos, superando a GPT-3.5 y a modelos médicos especializados como Med-PaLM, sin ningún tipo de ingeniería de prompts. Sin embargo, el mismo estudio advirtió sobre riesgos significativos en aplicaciones médicas debido a posibles inexactitudes y alucinaciones.
Aplicaciones e Impacto
Un artículo de Nature de 2023 destacó la utilidad de GPT-4 en la codificación, como la depuración y optimización. Un biofísico informó que portar un programa de MATLAB a Python tomó horas en lugar de días. En pruebas de seguridad, GPT-4 generó código vulnerable a inyección SQL el 5% de las veces, en comparación con el 40% de GitHub Copilot en 2021. En el ámbito sanitario, Microsoft y Epic Systems anunciaron en abril de 2023 planes para usar GPT-4 en respuestas a consultas de pacientes y análisis de registros médicos, aunque se recomendó precaución.
Limitaciones y Riesgos
Se sabe que GPT-4 alucina, produciendo salidas no fundamentadas en los datos de entrenamiento o que contradicen las instrucciones del usuario. Su toma de decisiones es opaca; las explicaciones se generan de manera posterior y pueden entrar en conflicto con declaraciones previas. En 2023, el punto de referencia ConceptARC mostró que GPT-4 obtuvo una puntuación inferior al 33% en tareas de razonamiento abstracto, mientras que modelos especializados y humanos obtuvieron puntuaciones más altas, aunque los escépticos señalaron que la naturaleza visual de la prueba podría perjudicar a un modelo de lenguaje.
Sesgo y Alineación
El entrenamiento de GPT-4 implicó dos etapas: aprendizaje no supervisado inicial sobre texto de internet, seguido de aprendizaje por refuerzo a partir de retroalimentación humana para reducir salidas dañinas. Investigadores de Microsoft sugirieron que podría exhibir sesgos cognitivos como sesgo de confirmación, anclaje y negligencia de la tasa base, lo que plantea preocupaciones sobre la equidad en su implementación.
Entrenamiento y Secreto Técnico
El informe técnico de OpenAI para GPT-4 omitió el tamaño del modelo, la arquitectura, el hardware, la construcción del conjunto de datos de entrenamiento, la potencia computacional y los hiperparámetros como la tasa de aprendizaje o los optimizadores. La empresa citó el "panorama competitivo y las implicaciones de seguridad" como razones. El CEO Sam Altman declaró que el costo de entrenamiento superó los 100 millones de dólares, con informes de Semafor indicando cifras más altas, aunque los números exactos siguen sin verificarse.
Sucesores y Evolución
GPT-4o, presentado el 13 de mayo de 2024, procesa texto, audio e imágenes en tiempo real con tiempos de respuesta similares a los humanos. Mejoró el rendimiento en idiomas no ingleses y se puso a disposición de los usuarios de nivel gratuito, a diferencia de GPT-4. GPT-4V, lanzado antes, añadió específicamente entrada de imágenes a GPT-4. El legado del modelo incluye el avance de la IA multimodal y el fomento de debates sobre transparencia y seguridad en los modelos de lenguaje grandes.