Jared Kaplan es un físico teórico e investigador de aprendizaje automático conocido por liderar la investigación que estableció las leyes de escalado empíricas para modelos de lenguaje, y por ser cofundador y científico jefe de Anthropic.
Antecedentes y leyes de escalado
Kaplan ocupó un puesto docente en física teórica en la Universidad Johns Hopkins antes de pasar a la investigación en IA, un trasfondo que ha dicho que moldeó su enfoque de tratar el comportamiento de los modelos como un sistema empírico y cuantitativo a medir, en lugar de solo diseñarlo por intuición. En 2020, mientras estaba afiliado a OpenAI, lideró "Scaling Laws for Neural Language Models", un artículo que mostró que la pérdida en tareas de modelado de lenguaje sigue relaciones de ley de potencia suaves con el tamaño del modelo, el tamaño del conjunto de datos y el cómputo de entrenamiento. El artículo proporcionó a los laboratorios un marco predictivo para decidir cómo asignar un presupuesto de cómputo fijo, e informó directamente el entrenamiento de GPT-3. Un seguimiento ampliamente citado de DeepMind en 2022, el artículo "Chinchilla", revisó las conclusiones originales de Kaplan sobre la proporción óptima de parámetros a tokens de entrenamiento, pero el marco subyacente de ley de potencia que ayudó a establecer siguió siendo fundamental para cómo los laboratorios fronterizos planifican grandes ejecuciones de entrenamiento.
Anthropic
En 2021, Kaplan cofundó Anthropic junto con Dario Amodei, Daniela Amodei, Tom Brown, Chris Olah y otros que habían trabajado juntos en OpenAI. Como científico jefe de Anthropic, ha supervisado líneas de investigación que abarcan pretraining, AI alignment y el estudio empírico de las capacidades de los modelos a medida que escalan, continuando el programa de investigación centrado en el escalado que comenzó en OpenAI. El marco de seguridad pública de Anthropic, incluida su Responsible Scaling Policy (ver Responsible scaling policies), se basa en parte en la premisa de que el crecimiento de capacidades es lo suficientemente predecible a partir de las tendencias de escalado como para ser planificado y controlado, una idea directamente derivada de la investigación anterior de Kaplan.
Influencia
El trabajo sobre leyes de escalado de Kaplan se cita frecuentemente junto con el artículo de GPT-3 como uno de los dos desarrollos que convencieron al campo en general de que continuar escalando modelos Transformer (architecture) de manera predecible, en lugar de buscar arquitecturas fundamentalmente nuevas, era el camino más fiable para lograr mayores ganancias de capacidad, una conclusión que moldeó la estrategia de laboratorios fronterizos hasta mediados de la década de 2020.
Su trasfondo en física teórica se menciona frecuentemente en los perfiles del liderazgo de Anthropic como una característica distintiva entre los fundadores de laboratorios de IA, y ha seguido trazando analogías explícitas entre los métodos empíricos utilizados para estudiar sistemas físicos y la forma en que los laboratorios fronterizos ahora estudian el comportamiento de grandes modelos entrenados antes y después del despliegue.