Um instituto de segurança de inteligência artificial é um tipo de organização apoiada pelo Estado que visa avaliar e garantir a segurança de modelos avançados de inteligência artificial (IA), também chamados de modelos de IA de fronteira. Esses institutos normalmente realizam testes pré-implantação, desenvolvem padrões de avaliação e colaboram internacionalmente para abordar riscos associados aos sistemas de IA mais capazes. Sua criação reflete a crescente preocupação governamental com possíveis danos da IA, incluindo riscos existenciais.
A segurança da IA ganhou destaque em 2023, notavelmente com declarações públicas sobre potenciais riscos existenciais da IA. Durante a Cúpula de Segurança de IA em novembro de 2023, o Reino Unido e os Estados Unidos criaram seus próprios AISIs. Durante a Cúpula de IA de Seul em maio de 2024, líderes internacionais concordaram em formar uma rede de Institutos de Segurança de IA, composta por institutos do Reino Unido, EUA, Japão, França, Alemanha, Itália, Singapura, Coreia do Sul, Austrália, Canadá e União Europeia. Em 2025, o Instituto de Segurança de IA do Reino Unido foi renomeado para "Instituto de Segurança de IA" (AI Security Institute), e seu equivalente nos EUA tornou-se o Centro para Padrões e Inovação em IA (CAISI).
Linha do tempo
Em 2023, Rishi Sunak, o Primeiro-Ministro do Reino Unido, expressou sua intenção de "tornar o Reino Unido não apenas o lar intelectual, mas também o lar geográfico da regulação global de segurança de IA" e revelou planos para uma Cúpula de Segurança de IA. Ele enfatizou a necessidade de avaliações de segurança independentes, afirmando que as empresas de IA não podem "corrigir seus próprios deveres de casa". Durante a cúpula em novembro de 2023, o AISI do Reino Unido foi oficialmente estabelecido como uma evolução da Força-Tarefa de IA de Fronteira, e o AISI dos EUA como parte do Instituto Nacional de Padrões e Tecnologia. O Japão seguiu com o lançamento de um instituto de segurança de IA em fevereiro de 2024.
A Politico relatou em abril de 2024 que muitas empresas de IA não haviam compartilhado acesso pré-implantação aos seus modelos de IA mais avançados para avaliação. O presidente de assuntos globais da Meta, Nick Clegg, disse que muitas empresas de IA estavam aguardando que os Institutos de Segurança de IA do Reino Unido e dos EUA elaborassem regras e procedimentos de avaliação comuns. Um acordo foi de fato concluído entre o Reino Unido e os EUA em abril de 2024 para colaborar em pelo menos um teste de segurança conjunto. Inicialmente estabelecido em Londres, o Instituto de Segurança de IA do Reino Unido anunciou em maio de 2024 que abriria um escritório em São Francisco, onde muitas empresas de IA estão localizadas. Isso faz parte de um plano para "estabelecer novos padrões internacionais de segurança de IA", de acordo com a ministra de tecnologia do Reino Unido, Michele Donelan.
Rede internacional
Na Cúpula de IA de Seul em maio de 2024, a União Europeia e outros países concordaram em criar seus próprios institutos de segurança de IA, formando uma rede internacional. Essa rede facilita pesquisa compartilhada, exercícios de teste conjuntos e a harmonização de padrões de segurança entre jurisdições. Em julho de 2025, a rede internacional realizou um exercício para explorar questões relacionadas à avaliação de agentes de IA, especialmente quando se tratava de vazamento de informações sensíveis ou segurança cibernética. Membros da rede também se reuniram na NeurIPS 2025 na cidade de San Diego.
Institutos específicos
Austrália
O governo Albanese anunciou a criação do Instituto Australiano de Segurança de IA em 25 de novembro de 2025. O instituto está alojado no Departamento de Indústria, Ciência e Recursos e é apoiado por um orçamento de A$ 29.900.000 ao longo de quatro anos. Sua gerente geral é Kate Conroy, que também é a líder de IA responsável na Força Aérea Real Australiana.
Canadá
O Canadá anunciou em abril de 2024 que criaria um instituto de segurança de IA, e tal instituto foi oficialmente fundado em novembro de 2024. O instituto está alojado sob Inovação, Ciência e Desenvolvimento Econômico do Canadá, embora também faça parceria com o Instituto Canadense de Pesquisa Avançada (CIFAR). É apoiado por um orçamento de CA$ 50.000.000 por um período de cinco anos.
União Europeia
O escritório de IA da UE, fundado em maio de 2024, é membro da rede internacional de institutos de segurança de IA.
França
Em 31 de janeiro de 2025, o governo da França criou o Institut national pour l'évaluation et la sécurité de l'intelligence artificielle (INESIA), ou o Instituto Nacional para Avaliação e Segurança de IA.
Índia
O Ministério de Eletrônica e Tecnologia da Informação realizou consultas com Meta Platforms, Google, Microsoft, IBM, OpenAI, NASSCOM, Fórum de Banda Larga da Índia, Aliança de Software, Institutos Indianos de Tecnologia (IITs), The Quantum Hub, Fundação de Empoderamento Digital e Access Now em 7 de outubro de 2024, em relação ao estabelecimento do Instituto de Segurança de IA. A decisão foi tomada para mudar o foco da regulação para o estabelecimento de padrões, identificação de riscos e detecção de danos - todos os quais exigem tecnologias interoperáveis. O AISI pode gastar os ₹20 crore alocados ao Pilar Seguro e Confiável da Missão IndiaAI para o orçamento inicial. Financiamento futuro pode vir de outros componentes da Missão IndiaAI.
A UNESCO e o MeitY começaram a consultar sobre a Metodologia de Avaliação de Prontidão para IA sob Segurança e Ética em Inteligência Artificial a partir de 2024. Isso visa incentivar o uso ético e responsável da IA nas indústrias. O estudo encontrará áreas onde o governo pode se envolver, especialmente em tentativas de fortalecer capacidades institucionais e regulatórias. O Ministro de Eletrônica e Tecnologia da Informação, Ashwini Vaishnaw, anunciou a criação de um Instituto de Segurança IndiaAI em 30 de janeiro de 2025, para garantir a aplicação ética e segura de modelos de IA. O instituto promoverá P&D doméstica que seja fundamentada na diversidade social, econômica, cultural e linguística da Índia e baseada em conjuntos de dados indianos. Com a ajuda de instituições acadêmicas e de pesquisa, bem como parceiros do setor privado, o instituto seguirá a abordagem de hub-and-spoke para realizar projetos dentro do Pilar Seguro e Confiável da Missão IndiaAI.
Japão
O AISI do Japão (ou J-AISI) foi fundado em fevereiro de 2024. Parte da Agência de Promoção de Tecnologia da Informação, emprega cerca de 23 pessoas. O instituto consiste no Conselho do AISI, no Comitê Diretor do AISI e em um secretariado com seis equipes. Akiko Murakami (anteriormente da IBM Japão e Sompo Japão) atua como diretora executiva do instituto, e Kenji Hiramoto e Suguru Nishimura atuam como os dois diretores executivos adjuntos do instituto.
Quênia
O Quênia concordou em se juntar à rede internacional de institutos de segurança de IA, mas o país ainda não anunciou nenhum detalhe. É o único estado africano na rede.
Singapura
O Centro de Confiança Digital foi inicialmente fundado em junho de 2022. Em maio de 2024, foi renomeado para AISI de Singapura. Parte da Universidade Tecnológica de Nanyang, o instituto faz parceria com a Autoridade de Desenvolvimento de Mídia Infocomm e é apoiado por um investimento de S$ 10.000.000 por ano.
Coreia do Sul
A Coreia do Sul anunciou em maio de 2024 que criaria um instituto de segurança de IA sob o guarda-chuva do Instituto de Pesquisa em Eletrônica e Telecomunicações. Será apoiado por um investimento provisório de algo entre 10 e 20 milhões de won sul-coreanos por ano, e empregará pelo menos 30 pessoas. O instituto foi fundado em novembro de 2024 e está sediado no Distrito de Bundang, na cidade de Seongnam.
Avaliação e padrões
Uma função central dos Institutos de Segurança de IA é o desenvolvimento de metodologias de avaliação para modelos de fronteira. Essas avaliações frequentemente se concentram em capacidades em áreas como modelos de linguagem grandes, incluindo tarefas relacionadas a aprendizado de máquina benchmarks, riscos de segurança cibernética e potencial para uso indevido. Os institutos também trabalham no estabelecimento de padrões comuns para transparência e relatórios, visando criar uma linha de base que os desenvolvedores de IA devem atender antes de lançar sistemas avançados. Essa abordagem colaborativa ajuda a evitar duplicação de esforços e garante que as avaliações de segurança sejam consistentes em diferentes contextos nacionais.