O NIST AI Risk Management Framework (AI RMF) é um documento de orientação voluntária publicado pelo National Institute of Standards and Technology (NIST), uma agência federal dos EUA. Lançado em janeiro de 2023, ele fornece uma abordagem estruturada e baseada em processos para que organizações identifiquem, avaliem e gerenciem riscos associados a sistemas de inteligência artificial. O framework é projetado para ser aplicável em todos os setores e tamanhos de organização, oferecendo uma linguagem comum e um conjunto de práticas para a governança de riscos de IA sem impor mandatos regulatórios. Ele complementa, mas não substitui, obrigações legais e regulatórias existentes, e destina-se a ser usado em conjunto com outros padrões de gerenciamento de riscos.
O AI RMF foi desenvolvido por meio de um processo multi-stakeholder iniciado pelo NIST em resposta a uma ordem executiva de 2020 sobre IA. Ele se baseia em práticas existentes de gerenciamento de riscos, como as de segurança cibernética e risco empresarial, e as adapta às características únicas da IA, incluindo sua natureza sociotécnica, dependências de dados e potencial para danos não intencionais. O framework enfatiza que os riscos de IA não são puramente técnicos, mas também envolvem dimensões sociais, éticas e organizacionais, e incentiva uma abordagem proativa e contínua ao gerenciamento de riscos, em vez de um exercício de conformidade único.
Funções Principais
O AI RMF é organizado em torno de quatro funções principais: Governar, Mapear, Medir e Gerenciar. Cada função representa uma categoria de alto nível de atividades que as organizações devem realizar para gerenciar riscos de IA de forma eficaz. Essas funções não se destinam a ser executadas em uma sequência linear estrita; em vez disso, são iterativas e inter-relacionadas, com ciclos de feedback que permitem melhoria contínua.
A função Governar concentra-se em estabelecer as estruturas organizacionais, políticas e processos necessários para o gerenciamento de riscos de IA. Inclui atividades como definir papéis e responsabilidades de gerenciamento de riscos, integrar o risco de IA ao gerenciamento de riscos empresariais mais amplo e garantir que os sistemas de IA estejam alinhados com os valores organizacionais e requisitos legais. Esta função também aborda a necessidade de transparência, responsabilidade e engajamento das partes interessadas ao longo do ciclo de vida da IA.
A função Mapear envolve entender o contexto em que um sistema de IA opera, incluindo seu propósito pretendido, os dados que utiliza e os impactos potenciais sobre indivíduos e comunidades. As atividades de mapeamento incluem identificar as capacidades e limitações do sistema, analisar o contexto sociotécnico e documentar suposições e modos potenciais de falha. Esta função ajuda as organizações a estabelecer uma linha de base para a avaliação de riscos, esclarecendo o que o sistema foi projetado para fazer e onde pode dar errado.
A função Medir concentra-se em avaliar e quantificar riscos de IA usando uma variedade de métodos. Isso inclui desenvolver métricas e procedimentos de avaliação, testar o sistema sob diferentes condições e analisar os resultados para determinar a probabilidade e a gravidade de danos potenciais. A medição pode envolver testes técnicos, como avaliar o desempenho do modelo em benchmarks de aprendizado de máquina, bem como avaliações qualitativas que consideram fatores sociais e éticos. O framework incentiva o uso de abordagens quantitativas e qualitativas, reconhecendo que alguns riscos são difíceis de quantificar.
A função Gerenciar envolve tomar decisões sobre como responder aos riscos identificados e implementar essas decisões. Isso inclui priorizar riscos, selecionar estratégias de mitigação e monitorar a eficácia dessas estratégias ao longo do tempo. As atividades de gerenciamento podem envolver redesenhar o sistema, adicionar salvaguardas, fornecer supervisão humana ou descontinuar o sistema se os riscos forem inaceitáveis. O framework enfatiza que o gerenciamento de riscos é um processo contínuo, exigindo revisão e adaptação regulares à medida que o sistema evolui ou novas informações se tornam disponíveis.
Princípios e Características Principais
O AI RMF é construído sobre vários princípios-chave que orientam sua aplicação. Um dos mais importantes é que o gerenciamento de riscos de IA deve ser um empreendimento sociotécnico, ou seja, deve considerar a interação entre o sistema técnico e o contexto social em que é usado. Este princípio reconhece que os danos da IA frequentemente surgem da interação de algoritmos com o comportamento humano, práticas institucionais e normas sociais, e que correções técnicas sozinhas são insuficientes.
Outro princípio é que o gerenciamento de riscos deve ser voluntário e flexível, permitindo que as organizações adaptem o framework às suas circunstâncias específicas. O framework não prescreve ferramentas ou técnicas específicas, mas oferece um conjunto de práticas que podem ser adaptadas a diferentes setores, casos de uso e níveis de maturidade. Também incentiva as organizações a irem além da conformidade mínima e a buscarem melhoria contínua em suas capacidades de gerenciamento de riscos.
O framework também enfatiza a importância da transparência e comunicação. As organizações são incentivadas a documentar suas atividades de gerenciamento de riscos e a se comunicar com as partes interessadas, incluindo usuários, reguladores e comunidades afetadas. Essa transparência ajuda a construir confiança e permite escrutínio externo, o que pode levar a uma melhor identificação e mitigação de riscos.
Relação com Outros Padrões e Regulamentações
O AI RMF é projetado para complementar padrões e regulamentações existentes, tanto nos EUA quanto internacionalmente. Ele se alinha aos princípios gerais da abordagem baseada em risco do EU AI Act, que categoriza sistemas de IA em diferentes níveis de risco e impõe obrigações correspondentes. No entanto, o AI RMF é voluntário, enquanto o EU AI Act é uma regulamentação vinculativa com requisitos específicos para sistemas de IA de alto risco. Organizações que operam em múltiplas jurisdições podem usar o AI RMF como linha de base para suas práticas de gerenciamento de riscos e, em seguida, adaptar-se para atender a requisitos legais mais estritos onde aplicável.
O framework também se baseia em trabalhos anteriores do NIST, como o NIST Face Recognition Vendor Test, que avalia a precisão e o viés de algoritmos de reconhecimento facial. Enquanto esse programa se concentra em desempenho técnico específico, o AI RMF adota uma visão mais ampla, abordando todo o ciclo de vida dos sistemas de IA, do design à implantação e descomissionamento.
Desenvolvimento e Adoção
O NIST iniciou o processo de desenvolvimento do AI RMF em 2020, após a emissão de uma ordem executiva sobre IA que direcionou a agência a criar um framework para gerenciar riscos de IA. O processo envolveu uma série de workshops, períodos de comentários públicos e consultas com especialistas da indústria, academia e sociedade civil. A primeira versão do framework foi lançada em janeiro de 2023, com um AI RMF Playbook acompanhante que fornece orientações mais detalhadas e exemplos.
Desde seu lançamento, o AI RMF foi amplamente adotado por organizações em vários setores, incluindo empresas de tecnologia, prestadores de serviços de saúde, instituições financeiras e agências governamentais. Muitas organizações o usam como ponto de partida para desenvolver seus próprios programas de governança de IA, e algumas o integraram a seus frameworks existentes de gerenciamento de riscos. O framework também influenciou discussões internacionais sobre governança de IA, servindo como referência para outros países que desenvolvem orientações semelhantes.
Críticas e Limitações
Apesar de sua ampla adoção, o AI RMF enfrentou críticas. Alguns críticos argumentam que sua natureza voluntária é insuficiente para abordar os danos potenciais da IA, particularmente em aplicações de alto risco, como contratação, empréstimos e justiça criminal. Eles afirmam que, sem requisitos obrigatórios, as organizações podem não investir adequadamente no gerenciamento de riscos, especialmente quando há pressões comerciais concorrentes.
Outros notaram que a generalidade do framework pode dificultar sua aplicação prática, pois ele não fornece métricas específicas ou limites para risco aceitável. As organizações podem ter dificuldade em interpretar os princípios do framework e traduzi-los em ações concretas. Além disso, o framework foi criticado por não abordar suficientemente os desequilíbrios de poder entre desenvolvedores de IA e comunidades afetadas, e por depender excessivamente de autoavaliação em vez de supervisão independente.
Direções Futuras
O NIST continua a evoluir o AI RMF, com planos de atualizá-lo com base em feedback e desenvolvimentos emergentes na tecnologia de IA. A agência também desenvolveu recursos relacionados, como o AI RMF Generative AI Profile, que aborda riscos específicos de sistemas de IA generativa, como grandes modelos de linguagem. Este perfil fornece orientações adicionais sobre o gerenciamento de riscos como desinformação, violação de direitos autorais e alucinações de modelo.
À medida que as tecnologias de IA continuam a avançar, o AI RMF provavelmente desempenhará um papel cada vez mais importante na forma como as organizações abordam a governança de IA. Sua ênfase no gerenciamento de riscos sociotécnicos e na melhoria contínua fornece uma base flexível que pode se adaptar a novos desafios, enquanto sua natureza voluntária permite inovação e experimentação. No entanto, a eficácia do framework dependerá da medida em que as organizações se comprometam genuinamente com seus princípios e os integrem em suas operações.
Conclusão
O NIST AI Risk Management Framework representa um esforço significativo para fornecer orientação prática para gerenciar riscos de IA em um campo em rápida evolução. Ao enfatizar uma abordagem sociotécnica, melhoria contínua e engajamento das partes interessadas, ele oferece um recurso valioso para organizações que buscam desenvolver sistemas de IA responsáveis. Embora não esteja isento de limitações, sua influência na governança de IA, tanto nos EUA quanto internacionalmente, provavelmente crescerá à medida que a IA se torna mais difundida na sociedade.