Dan Hendrycks es un informático estadounidense y director ejecutivo y de investigación del Centro para la Seguridad de la IA (CAIS), una organización sin fines de lucro centrada en reducir los riesgos a gran escala de la inteligencia artificial. Obtuvo un doctorado en informática en la Universidad de California, Berkeley, donde su investigación sobre robustez y evaluación de aprendizaje automático produjo algunos de los puntos de referencia más utilizados en el campo.
Puntos de referencia
Durante sus estudios de posgrado, Hendrycks lideró la creación del punto de referencia de Comprensión de Lenguaje Multitarea Masiva, conocido como MMLU, publicado por primera vez en 2020. MMLU evalúa modelos en 57 materias académicas y profesionales y se convirtió en uno de los estándares para la evaluación de modelos de lenguaje grandes, citado en casi todos los lanzamientos importantes de modelos de lenguaje grandes desde GPT-3. También contribuyó a otros conjuntos de datos de evaluación ampliamente utilizados, incluido MATH, un punto de referencia de problemas matemáticos de competencia, y ayudó a popularizar metodologías para medir la alucinación y la robustez en sistemas de aprendizaje automático de manera más amplia.
Centro para la Seguridad de la IA y la declaración sobre extinción
Hendrycks fundó CAIS para financiar investigación técnica en seguridad y elevar el perfil del riesgo catastrófico de la IA como una preocupación política principal, publicando trabajos académicos y políticos sobre temas como manipulación de recompensas, robustez de modelos y alineación. En mayo de 2023, CAIS publicó la "Declaración sobre el Riesgo de la IA", una sola frase que afirmaba que mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social, como pandemias y guerra nuclear. La declaración fue firmada por cientos de investigadores y ejecutivos, incluidos líderes de OpenAI, Anthropic y Google DeepMind, y fue ampliamente cubierta como una señal de que la preocupación por el riesgo existencial de la IA había pasado de una posición marginal a una sostenida en la comunidad principal de investigación en IA.
Hendrycks luego se convirtió en asesor de seguridad de xAI, la empresa de IA de Elon Musk, lo que atrajo algunas críticas de comentaristas que cuestionaron la compatibilidad de ese rol con su defensa pública del riesgo. También coescribió un libro de texto abierto, "Introducción a la Seguridad, Ética y Sociedad de la IA", destinado a formalizar la seguridad de la IA como una materia académica enseñada junto con los cursos tradicionales de aprendizaje automático.
Recepción
Hendrycks es generalmente considerado dentro del campo como ocupando una posición intermedia entre las predicciones más categóricas de investigadores como Eliezer Yudkowsky y figuras de la industria escépticas del riesgo catastrófico a corto plazo. Sus contribuciones empíricas, particularmente MMLU, son citadas independientemente de su trabajo de defensa y son utilizadas por investigadores en todo el espectro de opiniones sobre el riesgo de la IA, incluidos laboratorios que públicamente discrepan con partes de sus posiciones políticas. Los críticos han cuestionado si puntos de referencia como MMLU se están saturando o manipulando a medida que los modelos se entrenan cada vez más con datos que se superponen con los conjuntos de evaluación, una crítica que Hendrycks ha reconocido y abordado con puntos de referencia posteriores más difíciles.