La sécurité de l'IA est un domaine interdisciplinaire axé sur la prévention des accidents, des utilisations abusives ou d'autres conséquences néfastes découlant des systèmes d'intelligence artificielle. Elle englobe l'alignement de l'IA, qui vise à garantir que les systèmes d'IA se comportent comme prévu, la surveillance des systèmes d'IA pour détecter les risques, et l'amélioration de leur robustesse. Le domaine s'intéresse particulièrement aux risques existentiels posés par les modèles d'IA avancés, mais aborde également des problèmes à court terme tels que les biais, la surveillance et les cybermenaces.
Au-delà de la recherche technique, la sécurité de l'IA implique l'élaboration de normes et de politiques favorisant la sécurité, y compris la promotion de réglementations à différents niveaux de gouvernement. Le domaine a gagné en popularité en 2023, avec les progrès rapides de l'IA générative et les préoccupations publiques exprimées par des chercheurs et des PDG concernant les dangers potentiels. Lors du sommet sur la sécurité de l'IA de 2023, les États-Unis et le Royaume-Uni ont tous deux créé leur propre institut de sécurité de l'IA. Cependant, les chercheurs ont exprimé des inquiétudes quant au fait que les mesures de sécurité de l'IA ne suivent pas le rythme du développement rapide des capacités de l'IA.
Motivations
Les chercheurs discutent des risques actuels liés aux défaillances critiques des systèmes, aux biais et à la surveillance assistée par l'IA, ainsi que des risques émergents tels que le chômage technologique, la manipulation numérique, l'armement, les cyberattaques assistées par l'IA et le bioterrorisme. Ils discutent également des risques spéculatifs liés à la perte de contrôle de futurs agents d'intelligence artificielle générale (IAG), ou à l'IA permettant des dictatures perpétuellement stables.
Sécurité existentielle
Certains ont critiqué les préoccupations concernant l'IAG, comme Andrew Ng qui les a comparées en 2015 à « s'inquiéter de la surpopulation sur Mars alors que nous n'avons même pas encore posé le pied sur la planète ». Stuart J. Russell, de son côté, appelle à la prudence, arguant qu'« il vaut mieux anticiper l'ingéniosité humaine que de la sous-estimer ».
Les chercheurs en IA ont des opinions très divergentes sur la gravité et les sources principales des risques posés par la technologie de l'IA - bien que les enquêtes suggèrent que les experts prennent au sérieux les risques à conséquences élevées. Dans deux enquêtes auprès de chercheurs en IA, le répondant médian était optimiste quant à l'IA dans l'ensemble, mais a attribué une probabilité de 5 % à un résultat « extrêmement mauvais (par exemple, l'extinction humaine) » de l'IA avancée. Dans une enquête de 2022 auprès de la communauté du traitement du langage naturel, 37 % ont convenu ou faiblement convenu qu'il est plausible que les décisions de l'IA puissent conduire à une catastrophe « au moins aussi grave qu'une guerre nucléaire totale ».
Histoire
Les risques liés à l'IA ont commencé à être sérieusement discutés au début de l'ère informatique. En 1951, Alan Turing écrivait : « De plus, si nous nous orientons vers la création de machines qui apprennent et dont le comportement est modifié par l'expérience, nous devons faire face au fait que chaque degré d'indépendance que nous donnons à la machine est un degré de désobéissance possible à nos souhaits. » En 1988, Blay Whitby a publié un livre décrivant la nécessité de développer l'IA selon des lignes éthiques et socialement responsables.
De 2008 à 2009, l'Association pour l'avancement de l'intelligence artificielle (AAAI) a commandé une étude pour explorer et aborder les influences sociétales potentielles à long terme de la recherche et du développement de l'IA. Le panel était généralement sceptique quant aux vues radicales exprimées par les auteurs de science-fiction, mais a convenu que « des recherches supplémentaires seraient précieuses sur les méthodes pour comprendre et vérifier la gamme de comportements des systèmes computationnels complexes afin de minimiser les résultats inattendus ».
En 2011, Roman Yampolskiy a introduit le terme « ingénierie de la sécurité de l'IA » lors de la conférence Philosophie et théorie de l'intelligence artificielle, énumérant les échecs antérieurs des systèmes d'IA et arguant que « la fréquence et la gravité de tels événements augmenteront régulièrement à mesure que les IA deviendront plus capables ».
En 2014, le philosophe Nick Bostrom a publié le livre Superintelligence : chemins, dangers, stratégies. Il est d'avis que l'essor de l'IAG a le potentiel de créer divers problèmes sociétaux, allant du déplacement de la main-d'œuvre par l'IA, à la manipulation des structures politiques et militaires, jusqu'à la possibilité de l'extinction humaine. Son argument selon lequel de futurs systèmes avancés pourraient constituer une menace pour l'existence humaine a incité Elon Musk, Bill Gates et Stephen Hawking à exprimer des préoccupations similaires.
En 2015, des dizaines d'experts en intelligence artificielle ont signé une lettre ouverte sur l'intelligence artificielle appelant à la recherche sur les impacts sociétaux de l'IA et décrivant des orientations concrètes. À ce jour, la lettre a été signée par plus de 8000 personnes, dont Yann LeCun, Shane Legg, Yoshua Bengio et Stuart Russell. La même année, un groupe d'universitaires dirigé par le professeur Stuart J. Russell a fondé le Center for Human-Compatible AI à l'Université de Californie à Berkeley, et le Future of Life Institute a accordé 6,5 millions de dollars en subventions pour la recherche visant à « garantir que l'intelligence artificielle (IA) reste sûre, éthique et bénéfique ».
En 2016, le Bureau de la politique scientifique et technologique de la Maison Blanche et l'Université Carnegie Mellon ont annoncé l'Atelier public sur la sécurité et le contrôle de l'intelligence artificielle, qui faisait partie d'une série de quatre ateliers de la Maison Blanche visant à examiner « les avantages et les inconvénients » de l'IA. La même année, Concrete Problems in AI Safety - l'un des premiers et des plus influents programmes techniques de sécurité de l'IA - a été publié.
En 2017, le Future of Life Institute a parrainé la conférence d'Asilomar sur l'IA bénéfique, où plus de 100 leaders d'opinion ont formulé des principes pour une IA bénéfique, notamment « Évitement de la course : les équipes développant des systèmes d'IA devraient coopérer activement pour éviter de rogner sur les normes de sécurité ».
En 2018, l'équipe de sécurité de DeepMind a décrit les problèmes de sécurité de l'IA en matière de spécification, de robustesse et d'assurance. L'année suivante, des chercheurs ont organisé un atelier à l'ICLR axé sur ces domaines problématiques. En 2021, Unsolved Problems in ML Safety a été publié, décrivant les orientations de recherche en matière de robustesse, de surveillance, d'alignement et de sécurité systémique.
En 2023, Rishi Sunak a déclaré qu'il souhaitait que le Royaume-Uni soit le « foyer géographique de la réglementation mondiale de la sécurité de l'IA » et qu'il accueille le premier sommet mondial sur la sécurité de l'IA. Le sommet sur la sécurité de l'IA a eu lieu en novembre 2023 et s'est concentré sur les risques d'utilisation abusive et de perte de contrôle associés aux modèles d'IA de pointe. Au cours du sommet, l'intention de créer le Rapport scientifique international sur la sécurité de l'IA avancée a été annoncée.
En 2024, les États-Unis et le Royaume-Uni ont forgé un nouveau partenariat sur la science de la sécurité de l'IA. Le protocole d'accord a été signé le 1er avril 2024 par la secrétaire au commerce américaine Gina Raimondo et la secrétaire à la technologie britannique Michelle Donelan pour développer conjointement des tests de modèles d'IA avancés, à la suite des engagements annoncés lors d'un sommet sur la sécurité de l'IA à Bletchley Park en novembre.
En 2025, une équipe internationale de 96 experts présidée par Yoshua Bengio a publié le premier Rapport international sur la sécurité de l'IA. Le rapport, commandé par 30 nations et les Nations Unies, représente la première revue scientifique mondiale des risques potentiels associés à l'intelligence artificielle avancée. Il détaille les menaces potentielles découlant de l'utilisation abusive, du dysfonctionnement et de la perturbation sociétale, dans le but d'informer les politiques par des conclusions fondées sur des preuves.
Approches techniques
La recherche technique sur la sécurité de l'IA couvre plusieurs sous-domaines. La robustesse vise à garantir que les systèmes d'IA fonctionnent de manière fiable en cas de changement de distribution, d'attaques adversariales et d'entrées hors distribution. La surveillance implique la détection et la prédiction des comportements nuisibles, par exemple en utilisant la détection d'anomalies ou des outils d'interprétabilité. L'alignement se concentre sur la cohérence des objectifs et des comportements des systèmes d'IA avec les valeurs et les intentions humaines. Cela inclut la spécification (définir ce que nous voulons), l'assurance (vérifier la conformité) et la corrigibilité (permettre la correction).
Concrete Problems in AI Safety (2016) a identifié cinq domaines de recherche : les effets secondaires négatifs, le piratage de récompense, la supervision évolutive, l'exploration sûre et le changement distributionnel. Ces problèmes restent centraux dans le domaine. Des travaux ultérieurs ont élargi le champ pour inclure l'interprétabilité, qui vise à comprendre les mécanismes internes des modèles comme les grands modèles de langage, et la sécurité systémique, qui aborde les risques découlant des interactions multi-agents et des impacts sociétaux.
Institutions et gouvernance
La recherche sur la sécurité de l'IA est menée dans des institutions académiques et des laboratoires industriels. Le Center for Human-Compatible AI à UC Berkeley, le Future of Humanity Institute à l'Université d'Oxford et le Machine Intelligence Research Institute sont des pôles académiques notables. Les efforts industriels comprennent l'équipe de sécurité de DeepMind, la recherche sur l'alignement d'OpenAI et l'approche de l'IA constitutionnelle d'Anthropic. Des organismes gouvernementaux tels que l'Institut de sécurité de l'IA des États-Unis et l'Institut de sécurité de l'IA du Royaume-Uni ont été créés en 2023 pour évaluer les modèles de pointe.
La coopération internationale s'est développée, comme en témoignent le Rapport international sur la sécurité de l'IA (2025) et des accords bilatéraux tels que le partenariat américano-britannique. Cependant, la gouvernance reste fragmentée, avec des débats sur le niveau approprié de réglementation et le rythme de la recherche en sécurité par rapport au développement des capacités.
Défis et critiques
La sécurité de l'IA fait face à plusieurs défis. Les difficultés techniques incluent la complexité de spécifier les valeurs humaines, l'opacité des réseaux neuronaux et la difficulté de vérifier l'alignement dans les systèmes avancés. Il existe également des défis sociaux, tels que le risque que les mesures de sécurité soient contournées dans des environnements compétitifs, et la nécessité d'une collaboration interdisciplinaire.
Les critiques soutiennent que les préoccupations concernant les risques existentiels sont exagérées, détournant l'attention de préjudices plus immédiats comme les biais et la surveillance. D'autres affirment que la recherche en sécurité est sous-financée et que le domaine manque de mesures claires de succès. L'avancement rapide de l'IA générative a intensifié ces débats, certains chercheurs appelant à des moratoires sur certains développements.
Orientations futures
La recherche future sur la sécurité de l'IA se concentrera probablement sur la supervision évolutive, l'interprétabilité et un alignement robuste pour des systèmes de plus en plus capables. Le développement d'une IA capable de s'améliorer elle-même soulève de nouvelles questions sur le contrôle et le verrouillage des valeurs. La coordination internationale et l'établissement de normes de sécurité seront cruciaux. À mesure que les systèmes d'IA deviennent plus intégrés dans la société, le domaine devra aborder non seulement les risques techniques, mais aussi les dimensions éthiques, juridiques et politiques.
Le Rapport international sur la sécurité de l'IA (2025) souligne la nécessité de politiques fondées sur des preuves et de recherches continues. Le domaine devrait croître, avec davantage d'institutions et de gouvernements investissant dans des mesures de sécurité. Cependant, l'écart entre les capacités de l'IA et la recherche en sécurité reste une préoccupation, comme l'ont noté de nombreux experts.