Jan Leike es un investigador de alineación de IA que co-lideró el equipo de Superalineación de OpenAI y posteriormente se unió a Anthropic tras una renuncia de alto perfil de OpenAI en 2024.
Carrera en DeepMind y OpenAI
Leike tiene un doctorado en teoría de aprendizaje por refuerzo de la Universidad Nacional de Australia. Antes de unirse a OpenAI, trabajó como científico investigador en DeepMind sobre problemas de seguridad de IA y AI alignment. En OpenAI, trabajó extensamente en técnicas para entrenar modelos para que sean más útiles y honestos, contribuyendo al programa de investigación RLHF que dio forma a ChatGPT y posteriormente coautorizando el trabajo de OpenAI sobre supervisión escalable y generalización débil-a-fuerte.
Superalineación y renuncia
En julio de 2023, OpenAI anunció el equipo de Superalineación, co-liderado por Leike y el cofundador de OpenAI Ilya Sutskever,con un objetivo declarado de resolver el problema técnico de alinear un hipotético futuro sistema de IA superinteligente dentro de cuatro años, respaldado por un compromiso de recursos computacionales significativos. El trabajo del equipo tocó temas de Mechanistic interpretability, supervisión escalable,y investigación de alineación automatizada.
En mayo de 2024, Leike renunció de OpenAI, declarando públicamente que "la cultura y los procesos de seguridad han pasado a un segundo plano frente a productos brillantes" en la empresa y que su equipo había estado luchando para obtener los recursos computacionales que se le habían prometido. Su renuncia llegó en la misma semana que la propia salida de Sutskever y atrajo una atención significativa a las tensiones internas en OpenAI sobre el equilibrio entre el despliegue rápido de productos y la investigación de seguridad a largo plazo, tensiones que también habían salido a la superficie durante la crisis de la junta directiva de OpenAI en noviembre de 2023 OpenAI board crisis.
Traslado a Anthropic
Poco después de dejar OpenAI, Leike se unió a Anthropic para continuar la investigación de alineación, uniéndose a un creciente grupo de investigadores, incluyendo llegadas anteriores como Jared Kaplan y Chris Olah, quienes se habían trasladado de OpenAI a Anthropic por desacuerdos sobre la priorización de la seguridad. En Anthropic, ha continuado el trabajo relacionado con la supervisión escalable y la evaluación de modelos.
Influencia
La carta pública de renuncia de Leike se convirtió en uno de los documentos más ampliamente difundidos en la discusión de la comunidad de seguridad de IA sobre si los incentivos internos de los laboratorios fronterizos apoyan de manera confiable sus compromisos declarados de seguridad, un debate estrechamente vinculado a cuestiones más amplias en AI governance y riesgo de IA a largo plazo. Su salida, siguiendo salidas similares de otros investigadores centrados en la seguridad, fue frecuentemente citada como evidencia de que los equipos de alineación interna en laboratorios comerciales de rápido movimiento enfrentan presión estructural para competir con los plazos de productos por recursos computacionales y personal.