O Centro de Segurança de IA (CAIS) é uma organização sem fins lucrativos americana sediada em São Francisco que promove o desenvolvimento e a implantação seguros de inteligência artificial. O trabalho do CAIS abrange pesquisa em segurança técnica de IA e ética de IA, defesa de políticas e apoio para expandir o campo de pesquisa em segurança de IA. Foi fundado em 2022 por Dan Hendrycks e Oliver Zhang.
Em maio de 2023, o CAIS publicou a declaração sobre o risco de extinção por IA, assinada por centenas de professores de IA, líderes de grandes empresas de IA e outras figuras públicas. A organização opera como um centro para pesquisadores, formuladores de políticas e parceiros da indústria focados em mitigar danos potenciais de sistemas avançados de inteligência artificial.
Pesquisa
Pesquisadores do CAIS publicaram "Uma Visão Geral dos Riscos Catastróficos da IA", que detalha cenários de risco e estratégias de mitigação. Os riscos descritos incluem o uso de IA em guerra autônoma ou para engenharia de pandemias, bem como capacidades de IA para engano e hacking. Outro trabalho, conduzido em colaboração com pesquisadores da Universidade Carnegie Mellon, descreveu uma maneira automatizada de descobrir ataques adversariais de modelos de linguagem de grande escala, que contornam medidas de segurança, destacando a inadequação dos sistemas de segurança atuais.
A pesquisa técnica da organização abrange áreas como robustez de aprendizado de máquina, interpretabilidade de redes neurais e alinhamento de sistemas de aprendizado profundo. Pesquisadores do CAIS também examinaram modos de falha em IA generativa e propuseram estruturas para avaliar capacidades perigosas antes da implantação.
Atividades
Em 2023, a declaração do CAIS sobre o risco de extinção por IA ganhou o apoio de Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e outros líderes da indústria de IA. No mesmo ano, a bolsa de criptomoedas FTX (que faliu em novembro de 2022) tentou recuperar US$ 6,5 milhões que havia doado ao CAIS no início daquele ano.
Outras iniciativas incluem um cluster de computação para apoiar a pesquisa em segurança de IA, um curso online intitulado "Introdução à Segurança de ML" e uma bolsa para professores de filosofia abordarem problemas conceituais. O Fundo de Ação do Centro de Segurança de IA é um patrocinador do projeto de lei SB 1047 da Califórnia, a Lei de Inovação Segura e Protegida para Modelos de IA de Fronteira.
Defesa e Políticas
O CAIS interage com formuladores de políticas nos níveis estadual e federal para promover estruturas regulatórias para sistemas de IA de fronteira. A organização publicou briefings sobre tópicos como avaliações de segurança de modelos, aprendizado por reforço com feedback humano e os riscos de arquiteturas baseadas em transformadores. Seus esforços de defesa enfatizam a necessidade de testes pré-implantação e padrões de transparência.
Construção de Comunidade
O centro apoia o ecossistema mais amplo de segurança de IA por meio de subsídios, workshops e colaborações com instituições acadêmicas como Pesquisa de IA de Berkeley e Universidade de Oxford. Também mantém um diretório de pesquisadores de segurança e organiza seminários regulares que reúnem especialistas do Google DeepMind, da Anthropic e de outros laboratórios líderes.
Ver Também
Referências
Fatos de fonte da Wikipédia (CC BY-SA).
Links Externos
Site oficial