Segurança de IA é o campo interdisciplinar preocupado em prevenir danos causados por sistemas de inteligência artificial, abrangendo questões de curto prazo, como viés, desinformação e uso indevido, até preocupações de longo prazo sobre se os humanos manteriam controle significativo sobre sistemas futuros altamente capazes. Ele se baseia em pesquisa de aprendizado de máquina, políticas públicas e filosofia, e seus praticantes discordam entre si sobre quais riscos merecem mais atenção, uma divisão frequentemente descrita informalmente como segurança de "curto prazo" versus "longo prazo".
Escopo
O trabalho de segurança de IA de curto prazo aborda problemas visíveis em sistemas implantados hoje: modelos que produzem declarações falsas ou fabricadas, uma falha conhecida como alucinação; sistemas que podem ser manipulados por meio de injeção de prompt ou um quebra de restrições para ignorar suas instruções; e o desafio mais amplo de construir salvaguardas que filtrem ou bloqueiem saídas prejudiciais sem tornar um sistema inutilizável. O trabalho de segurança de IA de longo prazo preocupa-se com risco existencial da IA, incluindo a possibilidade de que um sistema que se aproxime de inteligência artificial geral ou superinteligência possa perseguir objetivos desalinhados com os interesses humanos de maneiras difíceis de reverter. Ambas as vertentes tratam o alinhamento, o problema de fazer o comportamento real de um sistema corresponder às intenções de seus projetistas, como fundamental.
História e instituições
A pesquisa organizada em segurança de IA cresceu substancialmente após a expansão dos grandes modelos de linguagem no início dos anos 2020. A Anthropic foi fundada em 2021 por ex-pesquisadores da OpenAI, em parte para buscar pesquisas de segurança que consideravam exigir a construção e o estudo direto de modelos de fronteira. Instituições acadêmicas e sem fins lucrativos, como o Machine Intelligence Research Institute e o Center for AI Safety, associados a pesquisadores como Eliezer Yudkowsky e Dan Hendrycks, argumentaram que riscos extremos de IA avançada devem ser tratados como uma possibilidade séria; em 2023, o centro de Hendrycks publicou uma declaração de uma frase, assinada por líderes de grandes laboratórios, que pedia que o risco de extinção por IA fosse tratado como uma prioridade global comparável a pandemias e guerra nuclear. Governos responderam com novas instituições e acordos, incluindo a Declaração de Bletchley na primeira Cúpula de Segurança de IA do Reino Unido em novembro de 2023, institutos nacionais de segurança de IA no Reino Unido e nos EUA, e regulamentação vinculante, como o Ato de IA da UE.
Técnicas
Técnicas práticas de segurança incluem testes de adversários, nos quais testadores deliberadamente tentam provocar comportamentos prejudiciais antes de um sistema ser implantado; pesquisa de interpretabilidade, que tenta entender as computações internas de um modelo em vez de julgá-lo apenas por suas saídas; aprendizado por reforço com feedback humano e IA constitucional, que moldam o comportamento do modelo durante o treinamento; e estruturas de avaliação que testam capacidades perigosas, como a habilidade de auxiliar em ataques cibernéticos ou no design de armas biológicas. Alguns laboratórios publicaram limiares de capacidade que acionam salvaguardas adicionais à medida que os modelos se tornam mais capazes, uma prática refletida em estruturas como a política de escalonamento responsável da Anthropic.
Debate
Críticos de um lado argumentam que o enquadramento existencial desvia atenção e financiamento de danos concretos e atuais, como viés algorítmico, deslocamento de mão de obra e o custo ambiental das execuções de treinamento. Críticos de outro lado, incluindo alguns pesquisadores de segurança de IA, argumentam que compromissos voluntários de laboratórios em corrida para construir sistemas cada vez mais capazes são insuficientes sem fiscalização externa, e que a pressão competitiva entre empresas e países mina as promessas de segurança feitas publicamente. O campo também enfrenta um problema básico de medição: ao contrário de indústrias críticas de segurança com décadas de dados de incidentes, não há uma maneira estabelecida de quantificar a probabilidade dos danos que o trabalho de segurança de IA visa prevenir, o que mantém o debate subjacente sobre prioridades sem resolução.