Dan Hendrycks est un informaticien américain et le directeur exécutif et de la recherche du Center for AI Safety (CAIS), une organisation à but non lucratif axée sur la réduction des risques à grande échelle liés à l’intelligence artificielle. Il a obtenu un doctorat en informatique à l’Université de Californie à Berkeley, où ses recherches sur la robustesse et l’évaluation de l’apprentissage automatique ont produit certains des benchmarks les plus utilisés dans le domaine.
Benchmarks
Pendant ses études de doctorat, Hendrycks a dirigé la création du benchmark Massive Multitask Language Understanding, connu sous le nom de MMLU, publié pour la première fois en 2020. MMLU teste les modèles sur 57 matières académiques et professionnelles et est devenu l’un des étalons standard pour l’évaluation des grands modèles de langage, cité dans presque toutes les grandes versions de modèles de langage depuis GPT-3. Il a également contribué à d’autres ensembles de données d’évaluation largement utilisés, notamment MATH, un benchmark de problèmes mathématiques de compétition, et a contribué à populariser des méthodologies pour mesurer l’Hallucination (AI) et la robustesse dans les systèmes de apprentissage automatique en général.
Center for AI Safety et la déclaration sur le risque existentiel
Hendrycks a fondé le CAIS pour financer la recherche sur la sécurité technique et pour promouvoir le risque catastrophique lié à l’IA comme une préoccupation politique majeure, en publiant des travaux académiques et politiques sur des sujets tels que le détournement de récompense, la robustesse des modèles et l’alignement. En mai 2023, le CAIS a publié la « Déclaration sur le risque lié à l’IA », une phrase unique affirmant que l’atténuation du risque d’extinction posé par l’IA devrait être une priorité mondiale au même titre que les pandémies et la guerre nucléaire. La déclaration a été signée par des centaines de chercheurs et de dirigeants, y compris ceux d’OpenAI, d’Anthropic et de Google DeepMind, et a été largement couverte comme un signe que le souci du risque existentiel lié à l’IA était passé d’une position marginale à une préoccupation partagée par le courant dominant de la communauté de recherche en IA.
Hendrycks est ensuite devenu conseiller en sécurité auprès de xAI, la société d’IA d’Elon Musk, ce qui a suscité des critiques de la part de commentateurs qui s’interrogeaient sur la compatibilité de ce rôle avec son plaidoyer public sur les risques. Il a également coécrit un manuel en libre accès, « Introduction à la sécurité, à l’éthique et à la société de l’IA », destiné à faire de la sécurité de l’IA une discipline académique enseignée aux côtés de l’apprentissage automatique traditionnel.
Réception
Dans le domaine, Hendrycks est généralement considéré comme occupant une position médiane entre les prédictions plus catégoriques de chercheurs comme Eliezer Yudkowsky et les acteurs de l’industrie sceptiques quant à un risque catastrophique à court terme. Ses contributions empiriques, en particulier MMLU, sont citées indépendamment de ses prises de position, et ses travaux sont utilisés par des chercheurs aux opinions variées sur les risques de l’IA, y compris dans des laboratoires qui contestent publiquement certaines de ses positions politiques. Des critiques ont toutefois remis en question la pertinence de benchmarks comme MMLU, qui pourraient devenir saturés ou « truqués » à mesure que les modèles sont de plus en plus entraînés sur des données qui chevauchent les ensembles d’évaluation - une critique qu’Hendrycks a reconnue et à laquelle il a répondu en développant des benchmarks plus difficiles et plus récents.