O US AI Safety Institute (US AISI) é uma organização apoiada pelo governo estabelecida em novembro de 2023 sob o National Institute of Standards and Technology (NIST), uma agência do Departamento de Comércio dos EUA. Sua missão principal é avaliar e garantir a segurança de modelos avançados de inteligência artificial (IA), particularmente aqueles conhecidos como modelos de IA de fronteira. O instituto foi fundado durante a Cúpula de Segurança de IA realizada no Reino Unido, onde tanto o Reino Unido quanto os EUA anunciaram a criação de seus respectivos órgãos de segurança de IA. Isso marcou um passo significativo no esforço global para abordar os riscos potenciais associados às tecnologias de IA em rápido avanço, incluindo modelos de linguagem de grande escala e outros sistemas de IA generativa.
O estabelecimento do US AISI refletiu um reconhecimento crescente em 2023 dos riscos existenciais potenciais representados pela IA, como destacado por declarações públicas de pesquisadores e líderes da indústria. O instituto opera dentro do NIST, aproveitando a experiência da agência em padrões de medição e avaliação de tecnologia. Seu trabalho foca no desenvolvimento de metodologias de teste, na condução de avaliações de segurança e na colaboração com outros órgãos nacionais e internacionais para criar uma estrutura coerente para a supervisão da IA. O US AISI faz parte de uma rede internacional mais ampla de institutos de segurança de IA que emergiu de esforços diplomáticos em 2023 e 2024.
Fundação e Mandato Inicial
O US AISI foi formalmente criado em 1º de novembro de 2023, durante a Cúpula de Segurança de IA em Bletchley Park, no Reino Unido. A cúpula, organizada pelo então primeiro-ministro Rishi Sunak, reuniu representantes de governos, empresas de IA e instituições acadêmicas para discutir o desenvolvimento seguro da IA de fronteira. O governo dos EUA, por meio do NIST, comprometeu-se a estabelecer um instituto dedicado para conduzir pesquisas e avaliações sobre segurança de IA. O foco inicial do instituto era desenvolver procedimentos de teste padronizados para modelos de IA, incluindo avaliações de capacidades em áreas como aprendizado de máquina, aprendizado profundo e redes neurais.
Nos seus primeiros meses, o US AISI trabalhou para definir seu papel no cenário mais amplo da política de IA dos EUA. Ele coordenou com outras agências federais, incluindo o Escritório de Política de Ciência e Tecnologia da Casa Branca, para alinhar suas atividades com as prioridades nacionais. O instituto também começou a se envolver com os principais desenvolvedores de IA, como OpenAI, Anthropic e Google DeepMind, para obter acesso aos seus modelos mais avançados para testes de segurança pré-implantação. Essa abordagem colaborativa visava abordar preocupações de que as empresas de IA não poderiam confiavelmente "corrigir seus próprios deveres de casa" em termos de avaliações de segurança.
Colaboração com o Instituto de Segurança de IA do Reino Unido
Um aspecto-chave do trabalho inicial do US AISI foi sua parceria com o Instituto de Segurança de IA do Reino Unido (UK AISI), que foi estabelecido simultaneamente durante a cúpula de novembro de 2023. Os dois institutos concordaram em colaborar no desenvolvimento de regras e procedimentos de avaliação comuns, reconhecendo que uma abordagem unificada seria mais eficaz do que esforços nacionais fragmentados. Em abril de 2024, os EUA e o Reino Unido concluíram formalmente um acordo para conduzir pelo menos um teste de segurança conjunto em um modelo de IA compartilhado. Essa colaboração foi vista como um modelo para a cooperação internacional na governança da IA.
A parceria também envolveu o compartilhamento de descobertas de pesquisa e metodologias. O US AISI e o UK AISI exploraram conjuntamente questões como robustez de modelos, alinhamento com valores humanos e o potencial de sistemas de IA vazarem informações sensíveis ou serem explorados para ataques cibernéticos. Seu trabalho informou o desenvolvimento de padrões internacionais, com o UK AISI anunciando em maio de 2024 que abriria um escritório em São Francisco para ficar mais próximo das principais empresas de IA, uma medida que complementou a localização do US AISI dentro do NIST.
Formação da Rede Internacional
Na Cúpula de IA de Seul em maio de 2024, líderes internacionais concordaram em formar uma rede de institutos de segurança de IA, com base na cooperação bilateral entre os EUA e o Reino Unido. A rede inicialmente compreendia institutos do Reino Unido, EUA, Japão, França, Alemanha, Itália, Singapura, Coreia do Sul, Austrália, Canadá e União Europeia. O US AISI desempenhou um papel central nessa rede, ajudando a coordenar projetos de pesquisa conjuntos e exercícios de avaliação. Em julho de 2025, a rede realizou um exercício para explorar questões com a avaliação de agentes de IA, particularmente em relação ao vazamento de informações sensíveis e riscos de segurança cibernética. Membros da rede também se reuniram no NeurIPS 2025 em San Diego para discutir desafios emergentes.
A participação do US AISI na rede internacional fez parte de um esforço mais amplo para estabelecer normas globais para a segurança da IA. O instituto contribuiu para discussões sobre tópicos como arquiteturas de transformadores, atenção de múltiplas cabeças e outros aspectos técnicos de sistemas de IA, garantindo que as avaliações de segurança acompanhassem os avanços rápidos no campo. A rede também abordou questões de governança, incluindo como equilibrar inovação com medidas de precaução.
Evolução e Renomeação
Em 2025, o US AISI passou por uma mudança organizacional significativa. Foi renomeado para Centro de Padrões e Inovação em IA (CAISI), refletindo uma mudança de foco para o desenvolvimento de padrões e a promoção da inovação em segurança de IA. A renomeação fez parte de uma tendência mais ampla, já que o Instituto de Segurança de IA do Reino Unido também foi renomeado para Instituto de Segurança de IA no mesmo ano. A mudança sinalizou uma transição de avaliações puramente focadas em segurança para uma abordagem mais abrangente que incluía o fomento ao desenvolvimento e implantação responsáveis da IA.
A transição para o CAISI não alterou a missão central do instituto, mas expandiu seu escopo. Ele continuou a conduzir avaliações de segurança de modelos de IA de fronteira, mas também começou a trabalhar mais de perto com a indústria para desenvolver melhores práticas e padrões voluntários. Essa evolução foi vista como uma resposta à crescente maturidade do campo da IA e à necessidade de supervisão contínua à medida que os sistemas de IA se tornavam mais integrados em vários setores, incluindo saúde, transporte e finanças.
Áreas de Foco Técnico
O trabalho técnico do US AISI abrange várias áreas de pesquisa e desenvolvimento de IA. Ele avalia modelos quanto a vieses potenciais, robustez a entradas adversariais e alinhamento com comportamentos pretendidos. O instituto também investiga a interpretabilidade de sistemas de IA, buscando entender como redes neurais tomam decisões. Isso inclui o estudo de técnicas como normalização de camada, normalização em lote e dropout para melhorar a confiabilidade dos modelos.
Outro foco é a segurança de agentes de IA, que são sistemas capazes de tomada de decisão autônoma. O US AISI explorou cenários em que agentes de IA podem vazar informações sensíveis ou ser manipulados para realizar ações prejudiciais. Ele também examinou as implicações de RLAIF e outros métodos de treinamento que dependem de feedback gerado por IA, que podem introduzir vieses ou erros sutis. A pesquisa do instituto contribui para o desenvolvimento de benchmarks de avaliação e protocolos de teste usados tanto pelo governo quanto pela indústria.
Impacto e Direções Futuras
A fundação do US AISI teve um impacto significativo no cenário da política de IA. Ele forneceu um mecanismo governamental para supervisão independente de tecnologias de IA, complementando os esforços de autorregulação das empresas. O trabalho do instituto informou propostas legislativas e regulatórias, tanto nos EUA quanto internacionalmente. Em 2025, o instituto continua a evoluir, com planos de expandir suas capacidades de pesquisa e aprofundar suas colaborações internacionais.
Olhando para o futuro, o US AISI (agora CAISI) enfrenta desafios relacionados ao ritmo rápido do desenvolvimento da IA, incluindo o surgimento de modelos mais capazes e novas aplicações. Ele também deve navegar por questões sobre o equilíbrio apropriado entre segurança e inovação, bem como a alocação de recursos entre prioridades concorrentes. O sucesso do instituto dependerá de sua capacidade de se adaptar às circunstâncias tecnológicas e políticas em mudança, mantendo ao mesmo tempo sua credibilidade como avaliador independente de sistemas de IA.