Segurança de IA é um campo interdisciplinar focado em prevenir acidentes, uso indevido ou outras consequências prejudiciais decorrentes de sistemas de inteligência artificial. Ele engloba o alinhamento de IA, que visa garantir que os sistemas de IA se comportem conforme o pretendido, o monitoramento de sistemas de IA para riscos e o aprimoramento de sua robustez. O campo está particularmente preocupado com riscos existenciais representados por modelos avançados de IA, mas também aborda questões de curto prazo, como viés, vigilância e ameaças cibernéticas.
Além da pesquisa técnica, a segurança de IA envolve o desenvolvimento de normas e políticas que promovam a segurança, incluindo a defesa de regulamentações em diferentes níveis de governo. O campo ganhou popularidade significativa em 2023, com o rápido progresso em IA generativa e preocupações públicas expressas por pesquisadores e CEOs sobre perigos potenciais. Durante a Cúpula de Segurança de IA de 2023, os Estados Unidos e o Reino Unido estabeleceram seus próprios Institutos de Segurança de IA. No entanto, pesquisadores expressaram preocupação de que as medidas de segurança de IA não estão acompanhando o rápido desenvolvimento das capacidades de IA.
Motivações
Estudiosos discutem riscos atuais de falhas críticas de sistemas, viés e vigilância habilitada por IA, bem como riscos emergentes como desemprego tecnológico, manipulação digital, armamentização, ataques cibernéticos habilitados por IA e bioterrorismo. Eles também discutem riscos especulativos de perder o controle de futuros agentes de inteligência artificial geral (IAG), ou de a IA possibilitar ditaduras perpetuamente estáveis.
Segurança existencial
Alguns criticaram as preocupações sobre IAG, como Andrew Ng, que as comparou em 2015 a "se preocupar com superpopulação em Marte quando ainda nem pisamos no planeta". Stuart J. Russell, por outro lado, urge cautela, argumentando que "é melhor antecipar a engenhosidade humana do que subestimá-la".
Pesquisadores de IA têm opiniões amplamente divergentes sobre a gravidade e as principais fontes de risco representadas pela tecnologia de IA - embora pesquisas sugiram que especialistas levam a sério os riscos de alta consequência. Em duas pesquisas com pesquisadores de IA, o entrevistado mediano era otimista sobre a IA em geral, mas atribuía uma probabilidade de 5% a um resultado "extremamente ruim (por exemplo, extinção humana)" da IA avançada. Em uma pesquisa de 2022 com a comunidade de processamento de linguagem natural, 37% concordaram ou concordaram fracamente que é plausível que decisões de IA possam levar a uma catástrofe que seja "pelo menos tão ruim quanto uma guerra nuclear total".
História
Os riscos da IA começaram a ser seriamente discutidos no início da era da computação. Em 1951, Alan Turing escreveu: "Além disso, se avançarmos na direção de fazer máquinas que aprendem e cujo comportamento é modificado pela experiência, devemos enfrentar o fato de que cada grau de independência que damos à máquina é um grau de possível desafio aos nossos desejos." Em 1988, Blay Whitby publicou um livro delineando a necessidade de a IA ser desenvolvida ao longo de linhas éticas e socialmente responsáveis.
De 2008 a 2009, a Associação para o Avanço da Inteligência Artificial (AAAI) encomendou um estudo para explorar e abordar potenciais influências sociais de longo prazo da pesquisa e desenvolvimento de IA. O painel era geralmente cético em relação às visões radicais expressas por autores de ficção científica, mas concordou que "pesquisas adicionais seriam valiosas sobre métodos para entender e verificar a gama de comportamentos de sistemas computacionais complexos para minimizar resultados inesperados".
Em 2011, Roman Yampolskiy introduziu o termo "engenharia de segurança de IA" na conferência Filosofia e Teoria da Inteligência Artificial, listando falhas anteriores de sistemas de IA e argumentando que "a frequência e a gravidade de tais eventos aumentarão constantemente à medida que as IAs se tornarem mais capazes".
Em 2014, o filósofo Nick Bostrom publicou o livro Superinteligência: Caminhos, Perigos, Estratégias. Ele tem a opinião de que o surgimento da IAG tem o potencial de criar vários problemas sociais, desde o deslocamento da força de trabalho pela IA, a manipulação de estruturas políticas e militares, até a possibilidade de extinção humana. Seu argumento de que futuros sistemas avançados podem representar uma ameaça à existência humana levou Elon Musk, Bill Gates e Stephen Hawking a expressar preocupações semelhantes.
Em 2015, dezenas de especialistas em inteligência artificial assinaram uma carta aberta sobre inteligência artificial pedindo pesquisa sobre os impactos sociais da IA e delineando direções concretas. Até o momento, a carta foi assinada por mais de 8.000 pessoas, incluindo Yann LeCun, Shane Legg, Yoshua Bengio e Stuart Russell. No mesmo ano, um grupo de acadêmicos liderado pelo professor Stuart J. Russell fundou o Centro para IA Compatível com Humanos na Universidade da Califórnia, Berkeley, e o Future of Life Institute concedeu US$ 6,5 milhões em bolsas para pesquisa destinada a "garantir que a inteligência artificial (IA) permaneça segura, ética e benéfica".
Em 2016, o Escritório de Política de Ciência e Tecnologia da Casa Branca e a Universidade Carnegie Mellon anunciaram o Workshop Público sobre Segurança e Controle para Inteligência Artificial, que foi um de uma sequência de quatro workshops da Casa Branca destinados a investigar "as vantagens e desvantagens" da IA. No mesmo ano, Problemas Concretos em Segurança de IA - uma das primeiras e mais influentes agendas técnicas de segurança de IA - foi publicado.
Em 2017, o Future of Life Institute patrocinou a Conferência de Asilomar sobre IA Benéfica, onde mais de 100 líderes de pensamento formularam princípios para IA benéfica, incluindo "Evitar Corrida: Equipes que desenvolvem sistemas de IA devem cooperar ativamente para evitar atalhos nos padrões de segurança".
Em 2018, a equipe de segurança da DeepMind delineou problemas de segurança de IA em especificação, robustez e garantia. No ano seguinte, pesquisadores organizaram um workshop no ICLR que se concentrou nessas áreas problemáticas. Em 2021, Problemas Não Resolvidos em Segurança de ML foi publicado, delineando direções de pesquisa em robustez, monitoramento, alinhamento e segurança sistêmica.
Em 2023, Rishi Sunak disse que quer que o Reino Unido seja o "lar geográfico da regulamentação global de segurança de IA" e sedie a primeira cúpula global sobre segurança de IA. A cúpula de segurança de IA ocorreu em novembro de 2023 e se concentrou nos riscos de uso indevido e perda de controle associados a modelos de IA de fronteira. Durante a cúpula, a intenção de criar o Relatório Científico Internacional sobre a Segurança da IA Avançada foi anunciada.
Em 2024, os EUA e o Reino Unido forjaram uma nova parceria sobre a ciência da segurança de IA. O MoU foi assinado em 1º de abril de 2024 pela secretária de comércio dos EUA, Gina Raimondo, e pela secretária de tecnologia do Reino Unido, Michelle Donelan, para desenvolver conjuntamente testes de modelos avançados de IA, após compromissos anunciados em uma Cúpula de Segurança de IA em Bletchley Park em novembro.
Em 2025, uma equipe internacional de 96 especialistas presidida por Yoshua Bengio publicou o primeiro Relatório Internacional de Segurança de IA. O relatório, encomendado por 30 nações e pelas Nações Unidas, representa a primeira revisão científica global dos riscos potenciais associados à inteligência artificial avançada. Ele detalha ameaças potenciais decorrentes de uso indevido, mau funcionamento e ruptura social, com o objetivo de informar políticas por meio de descobertas baseadas em evidências.
Abordagens Técnicas
A pesquisa técnica em segurança de IA abrange vários subcampos. A robustez visa garantir que os sistemas de IA tenham desempenho confiável sob mudança de distribuição, ataques adversariais e entradas fora da distribuição. O monitoramento envolve detectar e prever comportamentos prejudiciais, como usar detecção de anomalias ou ferramentas de interpretabilidade. O alinhamento se concentra em tornar os objetivos e comportamentos dos sistemas de IA consistentes com valores e intenções humanas. Isso inclui especificação (definir o que queremos), garantia (verificar conformidade) e corrigibilidade (permitir correção).
Problemas Concretos em Segurança de IA (2016) identificou cinco áreas de pesquisa: efeitos colaterais negativos, hacking de recompensa, supervisão escalável, exploração segura e mudança distribucional. Esses problemas permanecem centrais para o campo. Trabalhos subsequentes expandiram para incluir interpretabilidade, que visa entender os mecanismos internos de modelos como modelos de linguagem grandes, e segurança sistêmica, que aborda riscos de interações multiagente e impactos sociais.
Instituições e Governança
A pesquisa em segurança de IA é conduzida em instituições acadêmicas e laboratórios da indústria. O Centro para IA Compatível com Humanos na UC Berkeley, o Instituto do Futuro da Humanidade na Universidade de Oxford e o Instituto de Pesquisa em Inteligência de Máquina são centros acadêmicos notáveis. Os esforços da indústria incluem a equipe de segurança da DeepMind, a pesquisa de alinhamento da OpenAI e a abordagem de IA constitucional da Anthropic. Órgãos governamentais como o Instituto de Segurança de IA dos EUA e o Instituto de Segurança de IA do Reino Unido foram estabelecidos em 2023 para avaliar modelos de fronteira.
A cooperação internacional cresceu, exemplificada pelo Relatório Internacional de Segurança de IA (2025) e acordos bilaterais como a parceria EUA-Reino Unido. No entanto, a governança permanece fragmentada, com debates sobre o nível apropriado de regulamentação e o ritmo da pesquisa de segurança em relação ao desenvolvimento de capacidades.
Desafios e Críticas
A segurança de IA enfrenta vários desafios. As dificuldades técnicas incluem a complexidade de especificar valores humanos, a opacidade das redes neurais e a dificuldade de verificar o alinhamento em sistemas avançados. Há também desafios sociais, como o risco de medidas de segurança serem contornadas em ambientes competitivos e a necessidade de colaboração interdisciplinar.
Os críticos argumentam que as preocupações com risco existencial são exageradas, desviando a atenção de danos mais imediatos, como viés e vigilância. Outros contendem que a pesquisa de segurança é subfinanciada e que o campo carece de métricas claras para o sucesso. O rápido avanço da IA generativa intensificou esses debates, com alguns pesquisadores pedindo moratórias em certos desenvolvimentos.
Direções Futuras
A pesquisa futura em segurança de IA provavelmente se concentrará em supervisão escalável, interpretabilidade e alinhamento robusto para sistemas cada vez mais capazes. O desenvolvimento de IA que pode se autoaprimorar levanta novas questões sobre controle e travamento de valores. A coordenação internacional e o estabelecimento de padrões de segurança serão cruciais. À medida que os sistemas de IA se tornam mais integrados à sociedade, o campo precisará abordar não apenas riscos técnicos, mas também dimensões éticas, legais e políticas.
O Relatório Internacional de Segurança de IA (2025) enfatiza a necessidade de políticas baseadas em evidências e pesquisa contínua. Espera-se que o campo cresça, com mais instituições e governos investindo em medidas de segurança. No entanto, a lacuna entre as capacidades de IA e a pesquisa de segurança continua sendo uma preocupação, como observado por muitos especialistas.