DeepMind Safety Research est la division de Google DeepMind dédiée à l'étude et à l'atténuation des risques associés aux systèmes d'IA. Dans le cadre du laboratoire plus large, elle vise à garantir que les technologies avancées d'IA, y compris les grands modèles de langage et l'IA générative, sont développées et utilisées de manière sûre, éthique et alignée sur les valeurs humaines. La division s'appuie sur l'expertise de domaines tels que l'apprentissage automatique, l'apprentissage profond et les réseaux de neurones pour relever des défis comme la robustesse, la transparence et le contrôle.
L'effort de recherche sur la sécurité est enraciné dans la mission fondatrice de DeepMind, créée en 2010 par Demis Hassabis, Shane Legg et Mustafa Suleyman. Legg, en particulier, a été un fervent défenseur de la sécurité de l'IA, et l'entreprise a longtemps maintenu des équipes et des initiatives dédiées à ce domaine. Après la fusion avec Google Brain en avril 2023 pour former Google DeepMind, la recherche sur la sécurité a été consolidée et élargie, reflétant l'importance croissante du développement sûr de l'IA dans l'industrie.
Historique et Évolution
L'engagement de DeepMind envers la sécurité de l'IA précède son acquisition par Google en 2014. En 2013, l'entreprise a publié des recherches sur un système d'IA qui surpassait les capacités humaines dans des jeux comme Pong et Breakout, ce qui aurait contribué à l'intérêt de Google. Après l'acquisition, DeepMind a établi un conseil d'éthique de l'IA, bien que sa composition soit restée non divulguée. En 2017, l'entreprise a lancé l'unité DeepMind Ethics and Society, qui se concentrait sur les implications sociétales et éthiques de l'IA, avec le philosophe Nick Bostrom comme conseiller.
Dans les années suivantes, la recherche sur la sécurité chez DeepMind s'est élargie parallèlement à ses réalisations techniques. Le développement d'AlphaGo, qui a battu le champion du monde de Go Lee Sedol en 2016, a mis en évidence le potentiel de l'apprentissage par renforcement et a soulevé des questions sur la prise de décision de l'IA. Des systèmes ultérieurs comme AlphaZero et MuZero ont démontré des capacités de jeu générales, tandis qu'AlphaFold a réalisé des percées dans la prédiction du repliement des protéines, toutes ces avancées ayant informé les considérations de sécurité.
La fusion avec Google Brain en 2023 a réuni deux grands groupes de recherche en IA, créant une organisation unifiée avec un accent plus fort sur la sécurité. Cette décision était en partie une réponse à la sortie publique de ChatGPT par OpenAI, qui a accéléré l'attention de l'industrie sur les risques et la gouvernance de l'IA.
Principaux Domaines de Recherche
DeepMind Safety Research aborde une gamme de défis techniques et sociétaux. Un domaine central est l'alignement, qui consiste à garantir que les systèmes d'IA agissent conformément aux intentions humaines. Cela comprend le développement de méthodes pour l'apprentissage par renforcement avec retour humain, comme RLHF, et l'étude des fonctions de perte et des techniques d'optimisation pour améliorer la robustesse.
Un autre axe est l'interprétabilité, visant à comprendre comment les réseaux de neurones prennent des décisions. La recherche dans ce domaine comprend l'analyse des mécanismes d'attention et des transformeurs, ainsi que le développement d'outils pour visualiser et expliquer le comportement des modèles. La recherche sur la sécurité explore également la robustesse adversariale, l'élagage de modèles et l'augmentation de données pour rendre les systèmes plus résilients aux entrées inattendues.
De plus, la division étudie les impacts sociétaux de l'IA, y compris les questions d'équité, de confidentialité et de potentiel de mauvaise utilisation. Elle collabore avec des institutions académiques et d'autres organisations, comme Anthropic et OpenAI, pour partager des connaissances et des meilleures pratiques.
Contributions Notables
DeepMind Safety Research a produit plusieurs articles et outils influents. Par exemple, les travaux de l'entreprise sur AlphaGo et ses successeurs ont été utilisés pour étudier la prise de décision dans l'incertitude. Le projet AlphaFold, qui a prédit plus de 200 millions de structures de protéines en juillet 2022, a démontré le potentiel de l'IA pour la découverte scientifique, mais a également soulevé des questions sur les risques de double usage.
La division a également contribué au développement de références de sécurité et de cadres d'évaluation. En 2018, DeepMind a publié des recherches sur l'entraînement de l'IA à jouer à Quake III Arena, incluant des études sur la coopération et la compétition. Plus récemment, l'équipe a travaillé sur la sécurité des grands modèles de langage, y compris les modèles open-weight Gemma, pour garantir qu'ils sont moins susceptibles de générer du contenu nuisible.
Collaboration et Impact
DeepMind Safety Research opère au sein de l'organisation plus large de Google DeepMind, qui possède des centres de recherche aux États-Unis, au Canada, en France, en Allemagne et en Suisse, avec son siège à Londres. La division collabore avec d'autres entreprises d'Alphabet, comme Google Cloud, et avec des partenaires externes tels que l'Université d'Oxford et le MIT CSAIL.
En 2020, DeepMind avait publié plus de mille articles, dont treize dans Nature ou Science, dont beaucoup abordent des sujets liés à la sécurité. Le travail de la division a influencé les pratiques de l'industrie, et ses chercheurs participent fréquemment à des discussions politiques et à des conseils consultatifs. Cependant, le domaine de la sécurité de l'IA est en constante évolution, et DeepMind continue d'adapter son programme de recherche aux défis émergents, tels que le développement de modèles d'IA générative plus performants.
Orientations Futures
À l'avenir, DeepMind Safety Research vise à traiter l'objectif à long terme de garantir que l'intelligence artificielle générale (IAG), si elle est atteinte, soit bénéfique à l'humanité. Cela implique de faire progresser les méthodes techniques d'alignement et de contrôle, ainsi que de favoriser la coopération internationale sur la gouvernance de l'IA. La division explore également les implications de l'IA dans des domaines comme la santé, où DeepMind a travaillé avec le NHS, et dans la recherche scientifique, où l'IA peut accélérer les découvertes mais aussi introduire de nouveaux risques.
À partir du milieu des années 2020, la division fait partie d'un effort industriel plus large pour développer une IA sûre, avec des concurrents et pairs comme Anthropic et OpenAI investissant également massivement dans la recherche sur la sécurité. L'évolution continue des techniques d'apprentissage automatique, y compris l'apprentissage profond et les réseaux de neurones, façonnera probablement l'avenir de ce domaine.