Red teaming, aplicado à IA, é a prática de sondar deliberadamente um modelo ou sistema em busca de comportamentos prejudiciais, inseguros, tendenciosos ou, de outra forma, indesejáveis, geralmente antes do lançamento público, com o objetivo de identificar e corrigir problemas antecipadamente. O termo tem origem nas práticas militares e de segurança cibernética, onde uma equipe vermelha desempenha o papel de adversário contra uma equipe azul que defende um sistema; os laboratórios de IA adotaram essa estrutura para descrever testes adversariais sistemáticos de modelos, abrangendo tanto danos de curto prazo, como saídas tóxicas ou tendenciosas, quanto riscos mais graves, como auxiliar na geração de informações sobre armas, viabilizar ataques cibernéticos ou exibir comportamentos enganosos.
Red teaming tornou-se um padrão, e em algumas jurisdições uma exigência legal, no ciclo de desenvolvimento de IA a partir de aproximadamente 2022 e 2023, à medida que laboratórios como OpenAI e Anthropic publicaram detalhes de seus processos de red teaming e governos começaram a fazer referência à prática em políticas públicas.
Métodos
Os métodos de red teaming em IA variam de totalmente manuais a totalmente automatizados. O red teaming manual emprega testadores humanos, às vezes especialistas em domínios como biossegurança, segurança cibernética ou segurança infantil, que tentam criativamente provocar saídas prejudiciais usando técnicas como jailbreaks e injeção de prompt. O red teaming automatizado utiliza outro modelo de IA ou um algoritmo de busca para gerar grandes volumes de prompts adversariais e identificar quais deles têm sucesso, permitindo uma cobertura muito além do que testadores humanos poderiam alcançar sozinhos. O red teaming externo envolve a contratação de pesquisadores independentes ou empresas especializadas que não têm interesse em um resultado positivo, com o objetivo de revelar problemas que uma equipe interna poderia ignorar ou relutar em reportar.
Práticas em grandes laboratórios
Anthropic, OpenAI e Google DeepMind publicaram cada um suas metodologias de red teaming e, em alguns casos, os resultados, como parte da documentação de lançamento de modelos, frequentemente chamada de "system cards". O lançamento do GPT-4 pela OpenAI em 2023 incluiu uma seção de red teaming descrevendo testes para capacidades perigosas, como auxílio na criação de armas biológicas e uso indevido em segurança cibernética, conduzidos em parte por especialistas externos sob acesso antecipado. Institutos de segurança de IA afiliados a governos, estabelecidos após a Cúpula de Bletchley Park de 2023, começaram a realizar suas próprias avaliações de red teaming pré-lançamento de modelos de fronteira de grandes laboratórios, de forma voluntária, com foco especial em riscos relevantes para a segurança nacional.
Relação com outras práticas de segurança
Red teaming é geralmente entendido como um complemento, e não um substituto, para outros trabalhos de segurança de IA: ele identifica problemas depois que já estão presentes em um modelo ou sistema, enquanto técnicas como RLHF e IA Constitucional visam moldar o comportamento durante o treinamento, e salvaguardas adicionam defesas em tempo de execução. As descobertas de exercícios de red teaming normalmente alimentam novas rodadas de treinamento, salvaguardas adicionais ou, em alguns casos documentados, decisões de atrasar ou restringir o lançamento de um modelo. Críticos observam que a cobertura do red teaming é necessariamente incompleta, já que os testadores não podem prever todos os usos indevidos possíveis, e que a utilidade da prática depende fortemente de quão seriamente as descobertas são tratadas, em vez de meramente documentadas para fins de conformidade.