Le NIST AI Risk Management Framework (AI RMF) est un document d'orientation volontaire publié par le National Institute of Standards and Technology (NIST), une agence fédérale américaine. Publié en janvier 2023, il fournit une approche structurée et basée sur des processus pour permettre aux organisations d'identifier, d'évaluer et de gérer les risques associés aux systèmes d'intelligence artificielle. Le cadre est conçu pour être applicable à tous les secteurs et à toutes les tailles d'organisations, offrant un langage commun et un ensemble de pratiques pour la gouvernance des risques liés à l'IA sans imposer de mandats réglementaires. Il complète, sans les remplacer, les obligations légales et réglementaires existantes, et est destiné à être utilisé en parallèle d'autres normes de gestion des risques.
L'AI RMF a été développé dans le cadre d'un processus multipartite initié par le NIST en réponse à un décret exécutif de 2020 sur l'IA. Il s'appuie sur les pratiques existantes de gestion des risques, telles que celles de la cybersécurité et du risque d'entreprise, et les adapte aux caractéristiques uniques de l'IA, notamment sa nature sociotechnique, ses dépendances aux données et son potentiel de préjudices involontaires. Le cadre souligne que les risques liés à l'IA ne sont pas purement techniques, mais impliquent également des dimensions sociales, éthiques et organisationnelles, et il encourage une approche proactive et continue de la gestion des risques plutôt qu'un exercice de conformité ponctuel.
Fonctions principales
L'AI RMF est organisé autour de quatre fonctions principales : Gouverner, Cartographier, Mesurer et Gérer. Chaque fonction représente une catégorie de haut niveau d'activités que les organisations devraient entreprendre pour gérer efficacement les risques liés à l'IA. Ces fonctions ne sont pas destinées à être exécutées dans une séquence linéaire stricte ; elles sont plutôt itératives et interdépendantes, avec des boucles de rétroaction permettant une amélioration continue.
La fonction Gouverner se concentre sur l'établissement des structures organisationnelles, des politiques et des processus nécessaires à la gestion des risques liés à l'IA. Elle comprend des activités telles que la définition des rôles et responsabilités en matière de gestion des risques, l'intégration des risques liés à l'IA dans la gestion globale des risques d'entreprise et la garantie que les systèmes d'IA sont alignés sur les valeurs organisationnelles et les exigences légales. Cette fonction aborde également le besoin de transparence, de responsabilité et d'engagement des parties prenantes tout au long du cycle de vie de l'IA.
La fonction Cartographier implique de comprendre le contexte dans lequel un système d'IA opère, y compris son objectif prévu, les données qu'il utilise et les impacts potentiels sur les individus et les communautés. Les activités de cartographie comprennent l'identification des capacités et des limites du système, l'analyse du contexte sociotechnique et la documentation des hypothèses et des modes de défaillance potentiels. Cette fonction aide les organisations à établir une base de référence pour l'évaluation des risques en clarifiant ce que le système est conçu pour faire et où il pourrait échouer.
La fonction Mesurer se concentre sur l'évaluation et la quantification des risques liés à l'IA à l'aide de diverses méthodes. Cela comprend le développement de métriques et de procédures d'évaluation, les tests du système dans différentes conditions et l'analyse des résultats pour déterminer la probabilité et la gravité des préjudices potentiels. La mesure peut impliquer des tests techniques, tels que l'évaluation des performances du modèle sur des apprentissage automatique benchmarks, ainsi que des évaluations qualitatives prenant en compte des facteurs sociaux et éthiques. Le cadre encourage l'utilisation d'approches à la fois quantitatives et qualitatives, reconnaissant que certains risques sont difficiles à quantifier.
La fonction Gérer implique de prendre des décisions sur la manière de répondre aux risques identifiés et de mettre en œuvre ces décisions. Cela comprend la priorisation des risques, la sélection de stratégies d'atténuation et le suivi de l'efficacité de ces stratégies au fil du temps. Les activités de gestion peuvent impliquer la refonte du système, l'ajout de garde-fous, la fourniture d'une supervision humaine ou l'abandon du système si les risques sont inacceptables. Le cadre souligne que la gestion des risques est un processus continu, nécessitant un examen et une adaptation réguliers à mesure que le système évolue ou que de nouvelles informations deviennent disponibles.
Principes et caractéristiques clés
L'AI RMF repose sur plusieurs principes clés qui guident son application. L'un des plus importants est que la gestion des risques liés à l'IA devrait être une entreprise sociotechnique, ce qui signifie qu'elle doit prendre en compte l'interaction entre le système technique et le contexte social dans lequel il est utilisé. Ce principe reconnaît que les préjudices liés à l'IA découlent souvent de l'interaction des algorithmes avec le comportement humain, les pratiques institutionnelles et les normes sociétales, et que les correctifs techniques seuls sont insuffisants.
Un autre principe est que la gestion des risques devrait être volontaire et flexible, permettant aux organisations d'adapter le cadre à leurs circonstances spécifiques. Le cadre ne prescrit pas d'outils ou de techniques spécifiques, mais offre plutôt un ensemble de pratiques qui peuvent être adaptées à différents secteurs, cas d'utilisation et niveaux de maturité. Il encourage également les organisations à aller au-delà de la conformité minimale et à viser une amélioration continue de leurs capacités de gestion des risques.
Le cadre met également l'accent sur l'importance de la transparence et de la communication. Les organisations sont encouragées à documenter leurs activités de gestion des risques et à communiquer avec les parties prenantes, y compris les utilisateurs, les régulateurs et les communautés affectées. Cette transparence aide à renforcer la confiance et permet un examen externe, ce qui peut conduire à une meilleure identification et atténuation des risques.
Relation avec d'autres normes et réglementations
L'AI RMF est conçu pour compléter les normes et réglementations existantes, tant aux États-Unis qu'à l'international. Il s'aligne sur les principes généraux de l'approche basée sur les risques du AI Act de l'UE, qui catégorise les systèmes d'IA en différents niveaux de risque et impose des obligations correspondantes. Cependant, l'AI RMF est volontaire, tandis que l'AI Act de l'UE est une réglementation contraignante avec des exigences spécifiques pour les systèmes d'IA à haut risque. Les organisations opérant dans plusieurs juridictions peuvent utiliser l'AI RMF comme base pour leurs pratiques de gestion des risques, puis s'adapter pour répondre à des exigences légales plus strictes le cas échéant.
Le cadre s'appuie également sur des travaux antérieurs du NIST, tels que le test des fournisseurs de reconnaissance faciale du NIST, qui évalue la précision et le biais des algorithmes de reconnaissance faciale. Alors que ce programme se concentre sur des performances techniques spécifiques, l'AI RMF adopte une vision plus large, abordant le cycle de vie complet des systèmes d'IA, de la conception au déploiement et au démantèlement.
Développement et adoption
Le NIST a initié le processus de développement de l'AI RMF en 2020, suite à la publication d'un décret exécutif sur l'IA qui demandait à l'agence de créer un cadre pour gérer les risques liés à l'IA. Le processus a impliqué une série d'ateliers, de périodes de commentaires publics et de consultations avec des experts de l'industrie, du monde universitaire et de la société civile. La première version du cadre a été publiée en janvier 2023, accompagnée d'un AI RMF Playbook fournissant des conseils plus détaillés et des exemples.
Depuis sa publication, l'AI RMF a été largement adopté par des organisations de divers secteurs, y compris les entreprises technologiques, les prestataires de soins de santé, les institutions financières et les agences gouvernementales. De nombreuses organisations l'utilisent comme point de départ pour développer leurs propres programmes de gouvernance de l'IA, et certaines l'ont intégré à leurs cadres de gestion des risques existants. Le cadre a également influencé les discussions internationales sur la gouvernance de l'IA, servant de référence pour d'autres pays développant des orientations similaires.
Critiques et limites
Malgré son adoption large, l'AI RMF a fait face à des critiques. Certains critiques soutiennent que sa nature volontaire est insuffisante pour traiter les préjudices potentiels de l'IA, en particulier dans des applications à enjeux élevés telles que l'embauche, les prêts et la justice pénale. Ils affirment que sans exigences obligatoires, les organisations pourraient ne pas investir adéquatement dans la gestion des risques, surtout lorsqu'il existe des pressions commerciales concurrentes.
D'autres ont noté que la généralité du cadre peut le rendre difficile à appliquer en pratique, car il ne fournit pas de métriques ou de seuils spécifiques pour un risque acceptable. Les organisations peuvent avoir du mal à interpréter les principes du cadre et à les traduire en actions concrètes. De plus, le cadre a été critiqué pour ne pas suffisamment aborder les déséquilibres de pouvoir entre les développeurs d'IA et les communautés affectées, et pour s'appuyer trop sur l'auto-évaluation plutôt que sur une supervision indépendante.
Orientations futures
Le NIST continue de faire évoluer l'AI RMF, avec des plans pour le mettre à jour en fonction des retours et des développements émergents dans la technologie de l'IA. L'agence a également développé des ressources connexes, telles que le profil AI RMF pour l'IA générative, qui aborde les risques spécifiques aux systèmes de IA générative comme les grands modèles de langage. Ce profil fournit des conseils supplémentaires sur la gestion de risques tels que la désinformation, la violation du droit d'auteur et les hallucinations des modèles.
À mesure que les technologies de l'IA continuent de progresser, l'AI RMF est susceptible de jouer un rôle de plus en plus important dans la manière dont les organisations abordent la gouvernance de l'IA. Son accent sur la gestion sociotechnique des risques et l'amélioration continue fournit une base flexible qui peut s'adapter à de nouveaux défis, tandis que sa nature volontaire permet l'innovation et l'expérimentation. Cependant, l'efficacité du cadre dépendra de la mesure dans laquelle les organisations s'engagent véritablement dans ses principes et les intègrent dans leurs opérations.
Conclusion
Le NIST AI Risk Management Framework représente un effort significatif pour fournir des conseils pratiques pour gérer les risques liés à l'IA dans un domaine en évolution rapide. En mettant l'accent sur une approche sociotechnique, l'amélioration continue et l'engagement des parties prenantes, il offre une ressource précieuse pour les organisations cherchant à développer des systèmes d'IA responsables. Bien qu'il ne soit pas sans limites, son influence sur la gouvernance de l'IA tant aux États-Unis qu'à l'international est susceptible de croître à mesure que l'IA devient plus omniprésente dans la société.