GPT-4 es un modelo de lenguaje de gran escala desarrollado por OpenAI y el cuarto de su serie de modelos fundacionales GPT. Publicado el 14 de marzo de 2023, sucedió a GPT-3.5 y fue seguido por su sucesor GPT-5. A diferencia de sus predecesores, GPT-4 es un modelo multimodal capaz de procesar tanto entradas de texto como de imágenes. OpenAI no ha revelado detalles técnicos sobre el modelo, incluido su tamaño preciso.
Antecedentes
OpenAI presentó el primer modelo GPT (GPT-1) en 2018, publicando un artículo titulado "Improving Language Understanding by Generative Pre-Training", que se basaba en la arquitectura transformer y se entrenó con un gran corpus de libros. En 2019, presentaron GPT-2, un modelo más grande capaz de generar texto coherente. En 2020, lanzaron GPT-3, un modelo con más de 100 veces más parámetros que GPT-2. GPT-3 se refinó aún más en GPT-3.5, que se utilizó para crear el ChatGPT Chatbot.
Capacidades
GPT-4 se publicó el 14 de marzo de 2023. La versión predeterminada presentaba una ventana de contexto de 8K, con una versión especial en la API que admitía hasta 32K tokens. A diferencia de sus predecesores, GPT-4 es un modelo multimodal: puede tomar imágenes además de texto como entrada. Puede interactuar con los usuarios mediante palabras habladas y responder a imágenes, lo que le permite ofrecer sugerencias o respuestas basadas en cargas de fotos.
Se puede indicar a GPT-4 que interactúe con interfaces externas. Por ejemplo, se podría decir al modelo que encierre una consulta dentro de las etiquetas <search></search> para realizar una búsqueda web, cuyo resultado se insertaría en el mensaje del modelo para permitirle formar una respuesta. Esto permite al modelo realizar tareas más allá de sus capacidades normales de predicción de texto, como usar API, generar imágenes y acceder y resumir páginas web.
Un artículo de 2023 en Nature afirmó que los programadores han encontrado útil a GPT-4 para ayudar en tareas de codificación (a pesar de su propensión al error), como encontrar errores en código existente y sugerir optimizaciones para mejorar el rendimiento. El artículo citaba a un biofísico que descubrió que el tiempo necesario para portar uno de sus programas de MATLAB a Python se redujo de días a "una hora más o menos". En una prueba de 89 escenarios de seguridad, GPT-4 produjo código vulnerable a ataques de inyección SQL el 5% de las veces, una mejora respecto a GitHub Copilot de 2021, que produjo vulnerabilidades el 40% de las veces.
En noviembre de 2023, OpenAI anunció los modelos GPT-4 Turbo y GPT-4 Turbo with Vision, que presentaban una ventana de contexto de 128K y un precio significativamente más barato.
Aptitud en pruebas estandarizadas
Los estudios han cuestionado la fiabilidad de hacer pasar chatbots por pruebas estandarizadas. En los Test de Pensamiento Creativo de Torrance, GPT-4 obtuvo una puntuación dentro del 1% superior en originalidad y fluidez, mientras que sus puntuaciones de flexibilidad oscilaron entre el percentil 93 y el 99.
Aplicaciones médicas
Investigadores de Microsoft probaron GPT-4 en problemas médicos y descubrieron que "GPT-4, sin ningún tipo de elaboración especializada del mensaje, supera la puntuación de aprobación del USMLE en más de 20 puntos y supera a modelos generales anteriores (GPT-3.5) así como a modelos específicamente ajustados con conocimiento médico (Med-PaLM, una versión ajustada por mensajes de Flan-PaLM 540B)". A pesar del fuerte rendimiento de GPT-4 en las pruebas, el informe advirtió de "riesgos significativos" de usar modelos de lenguaje de gran escala en aplicaciones médicas, ya que pueden proporcionar recomendaciones inexactas y alucinar errores fácticos importantes.
En abril de 2023, Microsoft y Epic Systems anunciaron que proporcionarían a los proveedores de atención médica sistemas impulsados por GPT-4 para ayudar a responder a las preguntas de los pacientes y analizar registros médicos.
GPT-4o
El 13 de mayo de 2024, OpenAI presentó GPT-4o ("o" de "omni"), un sucesor de GPT-4 que marcó un avance significativo al procesar y generar salidas en modalidades de texto, audio e imagen en tiempo real. GPT-4o mostró tiempos de respuesta rápidos comparables a la reacción humana en conversaciones, un rendimiento sustancialmente mejorado en idiomas no ingleses y una comprensión mejorada de visión y audio. También estaba disponible para usuarios de nivel gratuito, a diferencia de GPT-4.
Limitaciones
Como sus predecesores, se sabe que GPT-4 alucina, lo que significa que sus salidas pueden incluir información que no está en los datos de entrenamiento o que contradice el mensaje del usuario.
GPT-4 también carece de transparencia en sus procesos de toma de decisiones. Si se solicita, el modelo puede proporcionar una explicación de cómo y por qué toma sus decisiones, pero estas explicaciones se forman de manera post hoc; es imposible verificar si esas explicaciones reflejan realmente el proceso real. En muchos casos, cuando se le pide que explique su lógica, GPT-4 ofrece explicaciones que contradicen directamente sus declaraciones anteriores.
En 2023, los investigadores probaron GPT-4 contra un nuevo punto de referencia llamado ConceptARC, diseñado para medir el razonamiento abstracto, y descubrieron que obtuvo menos del 33% en todas las categorías, mientras que los modelos especializados en tareas similares obtuvieron un 60% en la mayoría, y los humanos obtuvieron al menos un 91% en todas. Sam Bowman, que no participó en la investigación, dijo que los resultados no indican necesariamente una falta de habilidades de razonamiento abstracto porque la prueba es visual, mientras que GPT-4 es un modelo de lenguaje.
Sesgo
GPT-4 se entrenó en dos etapas. Primero, se le dieron al modelo grandes conjuntos de datos de texto tomados de internet y se entrenó para predecir el siguiente token (que corresponde aproximadamente a una palabra) en esos conjuntos de datos. Segundo, se utilizaron revisiones humanas para ajustar el sistema en un proceso llamado aprendizaje por refuerzo con retroalimentación humana, que entrena al modelo para rechazar mensajes que van en contra de la definición de comportamiento dañino de OpenAI, como preguntas sobre cómo realizar actividades ilegales, consejos sobre cómo dañarse a uno mismo o a otros, o solicitudes de descripciones de contenido gráfico, violento o sexual.
Investigadores de Microsoft sugirieron que GPT-4 puede exhibir sesgos cognitivos como sesgo de confirmación, anclaje y negligencia de la tasa base.
Entrenamiento
OpenAI no publicó los detalles técnicos de GPT-4; el informe técnico se abstuvo explícitamente de especificar el tamaño del modelo, la arquitectura o el hardware utilizado durante el entrenamiento o la inferencia. Aunque el informe describió que el modelo se entrenó usando una combinación de aprendizaje supervisado en un gran conjunto de datos, seguido de aprendizaje por refuerzo que utiliza tanto retroalimentación humana como de IA, no proporcionó detalles del entrenamiento, incluido el proceso mediante el cual se construyó el conjunto de datos de entrenamiento, la potencia de cómputo requerida o cualquier hiperparámetro como la tasa de aprendizaje, el número de épocas o los optimizadores utilizados. El informe afirmó que "el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala" fueron factores que influyeron en esta decisión.
Sam Altman declaró que el costo de entrenar GPT-4 fue de más de 100 millones de dólares.
Recepción e Impacto
GPT-4 fue integrado por Microsoft en Bing Chat, que se lanzó en febrero de 2023, antes de la publicación oficial del modelo. El modelo rápidamente se convirtió en una base para numerosas aplicaciones y servicios, demostrando el potencial de los modelos GPT en diversos dominios.
Disponibilidad
GPT-4 se lanzó en ChatGPT en marzo de 2023 y permaneció disponible hasta que se eliminó en 2025. El modelo se eliminó de la API de OpenAI el 23 de octubre de 2026.