Dan Hendrycks é um cientista da computação americano e diretor executivo e de pesquisa do Center for AI Safety (CAIS), uma organização sem fins lucrativos focada em reduzir riscos em larga escala da inteligência artificial. Ele obteve um PhD em ciência da computação na Universidade da Califórnia, Berkeley, onde sua pesquisa sobre robustez e avaliação de aprendizado de máquina produziu alguns dos benchmarks mais amplamente utilizados no campo.
Benchmarks
Durante seus estudos de pós-graduação, Hendrycks liderou a criação do benchmark Massive Multitask Language Understanding, conhecido como MMLU, lançado pela primeira vez em 2020. O MMLU testa modelos em 57 disciplinas acadêmicas e profissionais e se tornou um dos padrões de medição para LLM evaluation, citado em quase todos os principais lançamentos de Large language model desde o GPT-3. Ele também contribuiu para outros conjuntos de dados de avaliação amplamente utilizados, incluindo o MATH, um benchmark de problemas de matemática de competição, e ajudou a popularizar metodologias para medir alucinação e robustez em sistemas de Machine learning de forma mais ampla.
Center for AI Safety e a declaração sobre extinção
Hendrycks fundou o CAIS para financiar pesquisa técnica em segurança e para elevar o perfil do risco catastrófico da IA como uma preocupação política mainstream, publicando trabalhos acadêmicos e políticos sobre tópicos como Reward hacking, robustez de modelos e alinhamento. Em maio de 2023, o CAIS publicou a "Declaração sobre Risco de IA", uma única frase afirmando que mitigar o risco de extinção pela IA deveria ser uma prioridade global, ao lado de outros riscos em escala societal, como pandemias e guerra nuclear. A declaração foi assinada por centenas de pesquisadores e executivos, incluindo líderes da OpenAI, Anthropic e Google DeepMind, e foi amplamente coberta como um sinal de que a preocupação com risco existencial da IA havia passado de uma posição marginal para uma adotada em toda a comunidade mainstream de pesquisa em IA.
Hendrycks posteriormente se tornou conselheiro de segurança da xAI, a empresa de IA de Elon Musk, atraindo algumas críticas de comentaristas que questionaram a compatibilidade desse papel com sua defesa pública de riscos. Ele também coautorou um livro-texto aberto, "Introdução à Segurança, Ética e Sociedade da IA", destinado a formalizar a segurança da IA como uma disciplina acadêmica ensinada ao lado de cursos tradicionais de aprendizado de máquina.
Recepção
Hendrycks é geralmente considerado no campo como ocupando uma posição intermediária entre as previsões mais categóricas de pesquisadores como Eliezer Yudkowsky e figuras da indústria céticas quanto ao risco catastrófico em curto prazo. Suas contribuições empíricas, particularmente o MMLU, são citadas independentemente de seu trabalho de advocacy e são usadas por pesquisadores de todo o espectro de opiniões sobre risco de IA, incluindo laboratórios que discordam publicamente de partes de suas posições políticas. Críticos questionaram se benchmarks como o MMLU estão se tornando saturados ou manipulados, à medida que modelos são cada vez mais treinados com dados que se sobrepõem aos conjuntos de avaliação, uma crítica que Hendrycks reconheceu e abordou com benchmarks de acompanhamento mais difíceis.