GPT-3 (Generative Pretrained Transformer 3) es un modelo de lenguaje de gran tamaño desarrollado por OpenAI e introducido en un artículo de mayo de 2020, "Language Models are Few-Shot Learners", con un acceso más amplio a la API durante el resto de 2020. Al igual que su predecesor GPT-2, GPT-3 se basa en la arquitectura transformador y se entrena con un objetivo autorregresivo de predicción del siguiente token, pero escalado drásticamente a 175 mil millones de parámetros, más de 100 veces más grande que el modelo completo de GPT-2, entrenado con una mezcla de Common Crawl, libros y texto de Wikipedia.
Aprendizaje con pocos ejemplos
La contribución central de investigación de GPT-3 fue demostrar que un modelo de lenguaje suficientemente grande podía realizar una amplia gama de tareas, incluyendo traducción, respuesta a preguntas, aritmética y razonamiento simple, dado solo un puñado de ejemplos en su prompt, sin ningún ajuste fino basado en gradientes. Esta capacidad, descrita por los investigadores de OpenAI, incluido el autor principal Tom Brown, como aprendizaje con pocos ejemplos y más generalmente como aprendizaje en contexto, sugería que la escala por sí sola podía sustituir el entrenamiento específico para tareas, un hallazgo que reforzó las creencias emergentes sobre leyes de escalado en el modelado de lenguaje y dio forma a las prioridades de investigación posteriores en el campo.
Lanzamiento comercial
En lugar de liberar públicamente los pesos de GPT-3, como había hecho eventualmente con GPT-2, OpenAI puso GPT-3 a disposición exclusivamente a través de una API de pago a partir de junio de 2020, inicialmente mediante una beta privada. Esta decisión estableció un modelo de negocio, adoptado posteriormente de manera generalizada en la industria, en el que los modelos de lenguaje de frontera se acceden como un servicio en la nube medido en lugar de descargarse y ejecutarse localmente, un contraste con los modelos de pesos abiertos lanzados por competidores en años posteriores. La API atrajo rápidamente una ola de startups que construían productos sobre GPT-3, incluidos primeros asistentes de escritura con IA, chatbots y herramientas de generación de código, y Microsoft obtuvo por separado una licencia exclusiva de los pesos subyacentes del modelo GPT-3 en 2020 como parte de su inversión más amplia en OpenAI.
Impacto y limitaciones
GPT-3 fue ampliamente cubierto en la prensa generalista y tecnológica como evidencia de que los modelos de lenguaje se acercaban a capacidades cualitativamente nuevas, e informó directamente el desarrollo de variantes ajustadas por instrucciones entrenadas con técnicas que incluyen RLHF, un trabajo que culminó con el lanzamiento en noviembre de 2022 de ChatGPT, construido sobre una variante de GPT-3.5. GPT-3 también atrajo críticas sustanciales por su tendencia a producir resultados fluidos pero factualmente incorrectos, un ejemplo temprano prominente de lo que el campo denominó posteriormente alucinación, así como por reproducir sesgos presentes en sus datos de entrenamiento. Su sucesor, GPT-4, fue lanzado en marzo de 2023 con capacidades sustancialmente ampliadas, incluida la entrada multimodal.