Caleb Kaplan es un científico de la computación e investigador en el campo de la inteligencia artificial. Es conocido principalmente por su coautoría del artículo que presentó GPT-3, un modelo de lenguaje grande desarrollado por OpenAI, y por sus contribuciones a la comprensión de las leyes de escalado en redes neuronales. Su trabajo ha sido influyente en el desarrollo de los sistemas modernos de IA generativa.
La investigación de Kaplan se centra en el comportamiento empírico de los modelos de aprendizaje automático a gran escala, en particular cómo mejora el rendimiento con el aumento del tamaño del modelo, los datos y la computación. Sus hallazgos han moldeado la forma en que los laboratorios de IA asignan recursos para entrenar modelos grandes.
Inicios de carrera y educación
Kaplan completó sus estudios de grado en ciencias de la computación, aunque las fechas e instituciones específicas no están documentadas públicamente. Posteriormente, se unió a OpenAI, donde formó parte del equipo de investigación dedicado a los modelos de lenguaje. Su trabajo inicial implicó el análisis de la dinámica de entrenamiento de los transformadores y otras arquitecturas de redes neuronales.
GPT-3 y leyes de escalado
En 2020, Kaplan coescribió el artículo "Language Models are Few-Shot Learners", que presentó GPT-3, un modelo con 175 mil millones de parámetros. Este trabajo demostró que aumentar el tamaño del modelo mejoraba drásticamente el rendimiento en una amplia gama de tareas de lenguaje natural sin ajuste fino específico para la tarea. El artículo se convirtió en un hito en el campo del aprendizaje profundo.
Antes de eso, en 2020, Kaplan también contribuyó al estudio "Scaling Laws for Neural Language Models", que propuso que el rendimiento del modelo sigue una relación de ley de potencia con la computación, el tamaño del conjunto de datos y el número de parámetros. Estas leyes de escalado proporcionaron un marco predictivo para entrenar modelos grandes de manera eficiente.
Contribuciones a la investigación en IA
La investigación de Kaplan ha sido citada extensamente en la comunidad de IA. Su trabajo sobre las leyes de escalado ha informado el diseño de modelos de lenguaje grandes posteriores, incluidos los desarrollados por otras organizaciones. También ha explorado temas como la interpretabilidad de los modelos y las implicaciones éticas del despliegue de la IA.
En OpenAI, Kaplan colaboró con investigadores como Jakob Uszkoreit y Lukasz Kaiser, quienes también participaron en el desarrollo de la arquitectura del transformador. Sus conocimientos sobre la estabilidad del entrenamiento y la optimización se han incorporado a los pipelines de entrenamiento prácticos.
Trabajo posterior e impacto en la industria
Después de su tiempo en OpenAI, la trayectoria profesional de Kaplan está menos documentada públicamente. No se ha asociado con grandes empresas de IA como Anthropic o Google DeepMind hasta 2025. Sus contribuciones académicas siguen siendo un punto de referencia para los investigadores que estudian el escalado y la eficiencia de los modelos.
El trabajo de Kaplan ha influido indirectamente en el diseño de hardware, ya que empresas como Nvidia y AMD han optimizado chips para cargas de trabajo de entrenamiento a gran escala. Sin embargo, no ha ocupado roles de asesoría formal en estas empresas.
Legado y reconocimiento
El artículo de GPT-3 ha sido citado miles de veces y se considera un trabajo fundamental en la IA generativa. La coautoría de Kaplan lo sitúa entre un grupo de investigadores que avanzaron las capacidades prácticas de los modelos de lenguaje grandes. Su análisis de las leyes de escalado sigue siendo una herramienta estándar para estimar los requisitos de computación en la investigación de IA.
Las contribuciones de Kaplan a menudo se discuten junto con las de David Kaplan, otro investigador en el campo, aunque son individuos distintos. Su trabajo continúa enseñándose en cursos sobre aprendizaje automático y ética de la IA.