El Marco de Gestión de Riesgos de IA del NIST (AI RMF) es un documento de orientación voluntario publicado por el Instituto Nacional de Estándares y Tecnología (NIST), una agencia federal de los Estados Unidos. Publicado en enero de 2023, proporciona un enfoque estructurado y basado en procesos para que las organizaciones identifiquen, evalúen y gestionen los riesgos asociados con los sistemas de inteligencia artificial. El marco está diseñado para ser aplicable en todos los sectores y tamaños de organización, ofreciendo un lenguaje común y un conjunto de prácticas para la gobernanza de riesgos de IA sin imponer mandatos regulatorios. Complementa, pero no reemplaza, las obligaciones legales y regulatorias existentes, y se pretende que se utilice junto con otros estándares de gestión de riesgos.
El AI RMF fue desarrollado a través de un proceso de múltiples partes interesadas iniciado por el NIST en respuesta a una orden ejecutiva de 2020 sobre IA. Se basa en prácticas existentes de gestión de riesgos, como las de ciberseguridad y riesgo empresarial, y las adapta a las características únicas de la IA, incluyendo su naturaleza sociotécnica, las dependencias de datos y el potencial de daños no intencionados. El marco enfatiza que los riesgos de la IA no son puramente técnicos, sino que también involucran dimensiones sociales, éticas y organizativas, y fomenta un enfoque proactivo y continuo para la gestión de riesgos en lugar de un ejercicio de cumplimiento único.
Funciones Principales
El AI RMF se organiza en torno a cuatro funciones principales: Gobernar, Mapear, Medir y Gestionar. Cada función representa una categoría de alto nivel de actividades que las organizaciones deben llevar a cabo para gestionar eficazmente los riesgos de la IA. Estas funciones no están destinadas a realizarse en una secuencia lineal estricta; más bien, son iterativas e interrelacionadas, con bucles de retroalimentación que permiten una mejora continua.
La función de Gobernar se centra en establecer las estructuras organizativas, políticas y procesos necesarios para la gestión de riesgos de la IA. Incluye actividades como definir roles y responsabilidades de gestión de riesgos, integrar el riesgo de IA en la gestión de riesgos empresariales más amplia y garantizar que los sistemas de IA se alineen con los valores organizativos y los requisitos legales. Esta función también aborda la necesidad de transparencia, rendición de cuentas y participación de las partes interesadas a lo largo del ciclo de vida de la IA.
La función de Mapear implica comprender el contexto en el que opera un sistema de IA, incluido su propósito previsto, los datos que utiliza y los impactos potenciales en individuos y comunidades. Las actividades de mapeo incluyen identificar las capacidades y limitaciones del sistema, analizar el contexto sociotécnico y documentar supuestos y posibles modos de fallo. Esta función ayuda a las organizaciones a establecer una línea de base para la evaluación de riesgos al aclarar para qué está diseñado el sistema y dónde podría fallar.
La función de Medir se centra en evaluar y cuantificar los riesgos de la IA utilizando una variedad de métodos. Esto incluye desarrollar métricas y procedimientos de evaluación, probar el sistema bajo diferentes condiciones y analizar los resultados para determinar la probabilidad y gravedad de los posibles daños. La medición puede implicar pruebas técnicas, como evaluar el rendimiento del modelo en puntos de referencia de aprendizaje automático, así como evaluaciones cualitativas que consideren factores sociales y éticos. El marco fomenta el uso de enfoques tanto cuantitativos como cualitativos, reconociendo que algunos riesgos son difíciles de cuantificar.
La función de Gestionar implica tomar decisiones sobre cómo responder a los riesgos identificados e implementar esas decisiones. Esto incluye priorizar riesgos, seleccionar estrategias de mitigación y monitorear la efectividad de esas estrategias a lo largo del tiempo. Las actividades de gestión pueden implicar rediseñar el sistema, agregar salvaguardas, proporcionar supervisión humana o discontinuar el sistema si los riesgos son inaceptables. El marco enfatiza que la gestión de riesgos es un proceso continuo, que requiere revisión y adaptación regulares a medida que el sistema evoluciona o cuando se dispone de nueva información.
Principios y Características Clave
El AI RMF se basa en varios principios clave que guían su aplicación. Uno de los más importantes es que la gestión de riesgos de la IA debe ser un esfuerzo sociotécnico, lo que significa que debe considerar la interacción entre el sistema técnico y el contexto social en el que se utiliza. Este principio reconoce que los daños de la IA a menudo surgen de la interacción de algoritmos con el comportamiento humano, las prácticas institucionales y las normas sociales, y que las soluciones puramente técnicas son insuficientes.
Otro principio es que la gestión de riesgos debe ser voluntaria y flexible, permitiendo a las organizaciones adaptar el marco a sus circunstancias específicas. El marco no prescribe herramientas o técnicas específicas, sino que ofrece un conjunto de prácticas que pueden adaptarse a diferentes sectores, casos de uso y niveles de madurez. También alienta a las organizaciones a ir más allá del cumplimiento mínimo y a esforzarse por una mejora continua en sus capacidades de gestión de riesgos.
El marco también enfatiza la importancia de la transparencia y la comunicación. Se alienta a las organizaciones a documentar sus actividades de gestión de riesgos y a comunicarse con las partes interesadas, incluidos usuarios, reguladores y comunidades afectadas. Esta transparencia ayuda a generar confianza y permite el escrutinio externo, lo que puede conducir a una mejor identificación y mitigación de riesgos.
Relación con Otros Estándares y Regulaciones
El AI RMF está diseñado para complementar los estándares y regulaciones existentes, tanto en los Estados Unidos como a nivel internacional. Se alinea con los principios generales del enfoque basado en riesgos de la Ley de IA de la UE, que categoriza los sistemas de IA en diferentes niveles de riesgo e impone obligaciones correspondientes. Sin embargo, el AI RMF es voluntario, mientras que la Ley de IA de la UE es una regulación vinculante con requisitos específicos para los sistemas de IA de alto riesgo. Las organizaciones que operan en múltiples jurisdicciones pueden usar el AI RMF como base para sus prácticas de gestión de riesgos y luego adaptarse para cumplir con requisitos legales más estrictos cuando corresponda.
El marco también se basa en trabajos anteriores del NIST, como la Prueba de Proveedores de Reconocimiento Facial del NIST, que evalúa la precisión y el sesgo de los algoritmos de reconocimiento facial. Mientras que ese programa se centra en el rendimiento técnico específico, el AI RMF adopta una visión más amplia, abordando el ciclo de vida completo de los sistemas de IA desde el diseño hasta el despliegue y la desactivación.
Desarrollo y Adopción
El NIST inició el proceso de desarrollo del AI RMF en 2020, tras la emisión de una orden ejecutiva sobre IA que instruía a la agencia a crear un marco para gestionar los riesgos de la IA. El proceso involucró una serie de talleres, períodos de comentarios públicos y consultas con expertos de la industria, la academia y la sociedad civil. La primera versión del marco se publicó en enero de 2023, junto con un Libro de Juego del AI RMF que proporciona orientación más detallada y ejemplos.
Desde su publicación, el AI RMF ha sido ampliamente adoptado por organizaciones en diversos sectores, incluidas empresas de tecnología, proveedores de atención médica, instituciones financieras y agencias gubernamentales. Muchas organizaciones lo utilizan como punto de partida para desarrollar sus propios programas de gobernanza de IA, y algunas lo han integrado en sus marcos de gestión de riesgos existentes. El marco también ha influido en las discusiones internacionales sobre gobernanza de IA, sirviendo como referencia para otros países que desarrollan orientación similar.
Críticas y Limitaciones
A pesar de su amplia adopción, el AI RMF ha enfrentado críticas. Algunos críticos argumentan que su naturaleza voluntaria es insuficiente para abordar los posibles daños de la IA, particularmente en aplicaciones de alto riesgo como la contratación, los préstamos y la justicia penal. Sostienen que sin requisitos obligatorios, las organizaciones pueden no invertir adecuadamente en la gestión de riesgos, especialmente cuando hay presiones comerciales competitivas.
Otros han señalado que la generalidad del marco puede dificultar su aplicación en la práctica, ya que no proporciona métricas específicas o umbrales para un riesgo aceptable. Las organizaciones pueden tener dificultades para interpretar los principios del marco y traducirlos en acciones concretas. Además, el marco ha sido criticado por no abordar suficientemente los desequilibrios de poder entre los desarrolladores de IA y las comunidades afectadas, y por depender demasiado de la autoevaluación en lugar de una supervisión independiente.
Direcciones Futuras
El NIST continúa evolucionando el AI RMF, con planes para actualizarlo en función de los comentarios y los desarrollos emergentes en la tecnología de IA. La agencia también ha desarrollado recursos relacionados, como el Perfil de IA Generativa del AI RMF, que aborda riesgos específicos de los sistemas de IA generativa como los grandes modelos de lenguaje. Este perfil proporciona orientación adicional sobre la gestión de riesgos como la desinformación, la infracción de derechos de autor y las alucinaciones del modelo.
A medida que las tecnologías de IA continúan avanzando, es probable que el AI RMF desempeñe un papel cada vez más importante en la configuración de cómo las organizaciones abordan la gobernanza de la IA. Su énfasis en la gestión de riesgos sociotécnicos y la mejora continua proporciona una base flexible que puede adaptarse a nuevos desafíos, mientras que su naturaleza voluntaria permite la innovación y la experimentación. Sin embargo, la efectividad del marco dependerá de la medida en que las organizaciones se comprometan genuinamente con sus principios y los integren en sus operaciones.
Conclusión
El Marco de Gestión de Riesgos de IA del NIST representa un esfuerzo significativo para proporcionar orientación práctica para gestionar los riesgos de la IA en un campo en rápida evolución. Al enfatizar un enfoque sociotécnico, la mejora continua y la participación de las partes interesadas, ofrece un recurso valioso para las organizaciones que buscan desarrollar sistemas de IA responsables. Si bien no está exento de limitaciones, es probable que su influencia en la gobernanza de la IA tanto en los Estados Unidos como a nivel internacional crezca a medida que la IA se vuelva más omnipresente en la sociedad.