GPT-4 es un modelo de lenguaje de gran tamaño desarrollado por OpenAI, lanzado el 14 de marzo de 2023, como el cuarto de su serie Generative pre-trained transformer. A diferencia de sus predecesores, GPT-4 es un modelo multimodal que acepta tanto entradas de imagen como de texto, lo que le permite procesar información visual junto con lenguaje escrito. Esta capacidad representó un hito significativo en la investigación de inteligencia artificial, ampliando las aplicaciones potenciales de los modelos de lenguaje de gran tamaño más allá de las interacciones basadas únicamente en texto. GPT-4 fue precedido por GPT-3.5 y seguido por GPT-5, y se integró en ChatGPT y posteriormente en la API de OpenAI, con una versión conocida como GPT-4V diseñada específicamente para el procesamiento de imágenes.
OpenAI no ha divulgado públicamente detalles técnicos sobre GPT-4, como el tamaño preciso del modelo, la arquitectura o el hardware de entrenamiento. El informe técnico se abstuvo explícitamente de especificar estos parámetros, citando consideraciones competitivas y de seguridad. Esta falta de transparencia contrastó con modelos anteriores como GPT-3, para el cual se disponía de más información. A pesar de ello, las capacidades de GPT-4 se demostraron a través de diversos puntos de referencia y aplicaciones del mundo real, incluidos exámenes estandarizados y respuesta a preguntas médicas.
Antecedentes
OpenAI presentó el primer modelo GPT (GPT-1) en 2018, basado en la arquitectura transformador, y entrenado con un gran corpus de libros. Al año siguiente, se lanzó GPT-2, un modelo más grande capaz de generar texto coherente. En 2020, GPT-3 surgió con más de 100 veces más parámetros que GPT-2, avanzando aún más en el campo. GPT-3 se refinó en GPT-3.5, que impulsó el producto de Chatbot ChatGPT, lanzado en noviembre de 2022. El éxito de ChatGPT destacó el potencial de los modelos de lenguaje de gran tamaño, preparando el escenario para el desarrollo de GPT-4.
Capacidades
La versión predeterminada de GPT-4 contaba con una ventana de contexto de 8K, con una versión especial de API que admitía hasta 32K tokens. Como modelo multimodal, podía procesar imágenes y texto, lo que permitía a los usuarios subir fotos y recibir sugerencias o respuestas basadas en el contenido visual. Esta capacidad supuso un cambio respecto a los predecesores basados solo en texto y abrió nuevas vías de interacción.
GPT-4 también podía ser incitado para interactuar con interfaces externas. Por ejemplo, se podía instruir al modelo para encerrar una consulta entre etiquetas <search></search> para realizar una búsqueda web, con los resultados insertados en la indicación para informar las respuestas. Esto permitía a GPT-4 realizar tareas más allá de la predicción de texto, como usar APIs, generar imágenes y acceder a páginas web.
Un artículo de 2023 en Nature señaló que los programadores encontraban útil a GPT-4 para la asistencia en codificación, a pesar de su propensión a cometer errores. Podía ayudar a encontrar errores en código existente y sugerir optimizaciones de rendimiento. Un biofísico informó que portar un programa de MATLAB a Python, que antes llevaba días, se redujo a "una hora más o menos" con la ayuda de GPT-4. En una prueba de 89 escenarios de seguridad, GPT-4 produjo código vulnerable a ataques de inyección SQL el 5% de las veces, una mejora notable respecto a GitHub Copilot de 2021, que tenía una tasa de vulnerabilidad del 40%.
En noviembre de 2023, OpenAI anunció GPT-4 Turbo y GPT-4 Turbo con Visión, con una ventana de contexto de 128K y precios significativamente más bajos.
Aptitud en exámenes estandarizados
Los estudios han debatido la fiabilidad de usar chatbots para exámenes estandarizados. En las Pruebas de Pensamiento Creativo de Torrance, GPT-4 obtuvo una puntuación dentro del 1% superior en originalidad y fluidez, con puntuaciones de flexibilidad que oscilaban entre el percentil 93 y el 99.
Aplicaciones médicas
Investigadores de Microsoft probaron GPT-4 en problemas médicos y descubrieron que, sin una elaboración especializada de indicaciones, superaba la puntuación de aprobación en el USMLE por más de 20 puntos, superando a modelos de propósito general anteriores como GPT-3.5 y a modelos ajustados con conocimiento médico como Med-PaLM. A pesar de este sólido rendimiento, el informe advirtió de "riesgos significativos" en el uso de modelos de lenguaje de gran tamaño para aplicaciones médicas, incluidos posibles recomendaciones inexactas y errores fácticos alucinados. En abril de 2023, Microsoft y Epic Systems anunciaron planes para proporcionar a los proveedores de atención médica sistemas impulsados por GPT-4 para responder a preguntas de pacientes y analizar registros médicos.
GPT-4o
El 13 de mayo de 2024, OpenAI presentó GPT-4o ("o" por "omni"), un sucesor de GPT-4 que procesa y genera resultados en modalidades de texto, audio e imagen en tiempo real. GPT-4o mostró tiempos de respuesta rápidos comparables a la conversación humana, un mejor rendimiento en idiomas no ingleses y una comprensión mejorada de visión y audio. También estaba disponible para usuarios de nivel gratuito, a diferencia de GPT-4.
Limitaciones
Al igual que sus predecesores, se sabe que GPT-4 puede alucinar, produciendo resultados que pueden incluir información que no está en sus datos de entrenamiento o que contradicen la indicación del usuario. Esta limitación plantea desafíos para aplicaciones que requieren alta fiabilidad.
GPT-4 también carece de transparencia en sus procesos de toma de decisiones. Aunque puede proporcionar explicaciones para sus decisiones, estas se forman de manera posterior, y es imposible verificar si reflejan el proceso real. En muchos casos, cuando se le pide que explique su lógica, GPT-4 da explicaciones que contradicen directamente sus declaraciones anteriores.
En 2023, los investigadores probaron GPT-4 contra ConceptARC, un punto de referencia diseñado para medir el razonamiento abstracto, y encontraron que obtuvo una puntuación inferior al 33% en todas las categorías, mientras que los modelos especializados obtuvieron un 60% en la mayoría, y los humanos al menos un 91% en todas. Sam Bowman, no involucrado en la investigación, sugirió que los resultados pueden no indicar una falta de razonamiento abstracto, ya que la prueba es visual mientras que GPT-4 es un modelo de lenguaje.
Sesgo
GPT-4 se entrenó en dos etapas. Primero, se entrenó con grandes conjuntos de datos de texto de internet para predecir el siguiente token. Segundo, revisores humanos utilizaron aprendizaje por refuerzo con retroalimentación humana para ajustar el sistema, entrenándolo para rechazar indicaciones que van contra la definición de comportamiento dañino de OpenAI, como actividades ilegales, consejos de autolesión o solicitudes de contenido gráfico. Los investigadores de Microsoft sugirieron que GPT-4 puede exhibir sesgos cognitivos como sesgo de confirmación, anclaje y negligencia de la tasa base.
Entrenamiento
OpenAI no publicó detalles técnicos del entrenamiento de GPT-4. El informe técnico se abstuvo de especificar el tamaño del modelo, la arquitectura o el hardware utilizado. Describió el entrenamiento mediante aprendizaje supervisado en un gran conjunto de datos, seguido de aprendizaje por refuerzo con retroalimentación humana y de IA, pero omitió detalles sobre la construcción del conjunto de datos, la potencia informática y los hiperparámetros. El informe citó "el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala" como razones para esta decisión.
Sam Altman declaró que el costo de entrenar GPT-4 fue de más de 100 millones de dólares. Esta inversión sustancial reflejó la escala del modelo y los recursos necesarios para su desarrollo.
Recepción e impacto
El lanzamiento de GPT-4 generó un interés significativo en la comunidad de IA y más allá, destacando el rápido progreso en IA generativa. Sus capacidades multimodales establecieron un nuevo estándar, influyendo en modelos posteriores como GPT-4o y Gemini de Google. La integración de GPT-4 en Microsoft Bing Chat en febrero de 2023 demostró aplicaciones prácticas en búsqueda e IA conversacional.
El rendimiento de GPT-4 en exámenes estandarizados y profesionales, como el USMLE, provocó debates sobre el potencial de la IA en educación y atención médica. Sin embargo, persistieron preocupaciones sobre sesgo, alucinación y transparencia, lo que llevó a llamados para un desarrollo de IA más responsable.
Legado
GPT-4 se lanzó en ChatGPT en marzo de 2023 y permaneció disponible hasta 2025, cuando se eliminó. También se eliminó de la API de OpenAI el 23 de octubre de 2026. Su sucesor, GPT-5, continuó la evolución de la serie GPT. La introducción del procesamiento de entrada multimodal por parte de GPT-4 marcó un momento pivotal en la IA, demostrando que los modelos de lenguaje de gran tamaño podían extenderse más allá del texto para comprender y razonar sobre información visual, allanando el camino para sistemas de IA más versátiles e integrados.