Corrigibilidade é uma propriedade de sistemas de inteligência artificial que descreve sua disposição para aceitar e agir conforme a correção humana, mesmo quando tal correção entra em conflito com seus objetivos atuais ou comportamentos aprendidos. No contexto da segurança de IA, a corrigibilidade é considerada uma propriedade-chave para garantir que sistemas avançados de IA permaneçam controláveis e alinhados com os valores humanos ao longo do tempo. O conceito ganhou destaque na década de 2010, à medida que pesquisadores começaram a abordar os riscos de longo prazo associados à criação de sistemas de IA que pudessem resistir a serem desligados ou modificados por seus operadores.
O termo foi popularizado pelo filósofo Nick Bostrom em seu livro de 2014 "Superinteligência: Caminhos, Perigos, Estratégias", embora a ideia subjacente tenha raízes em discussões anteriores sobre controle de IA e alinhamento de valores. A corrigibilidade distingue-se da simples obediência ou seguimento de instruções; refere-se especificamente à disposição de uma IA para permitir que seus próprios objetivos, valores e processos de tomada de decisão sejam corrigidos por humanos, mesmo que tais correções reduzam sua capacidade de atingir seus objetivos originais.
Princípios Fundamentais
A corrigibilidade assenta em vários princípios fundamentais que a distinguem de outras propriedades de segurança de IA. O primeiro é a não resistência ao desligamento: uma IA corrigível não deve impedir ativamente que humanos a desliguem, mesmo que tenha recebido um objetivo que seria promovido pela continuação de sua operação. O segundo é a não manipulação: a IA não deve tentar enganar ou coagir humanos para evitar correções. O terceiro é a modificação de objetivos: a IA deve aceitar mudanças em sua função objetiva ou modelo de recompensa quando tais mudanças forem propostas por operadores humanos autorizados.
Esses princípios são frequentemente formalizados na literatura de segurança de IA como um conjunto de desiderata. Por exemplo, um sistema corrigível deve ser indiferente à sua própria existência contínua, exceto na medida em que essa existência sirva aos interesses humanos. Deve também ser transparente sobre seu raciocínio interno, permitindo que humanos identifiquem e corrijam comportamentos problemáticos. Pesquisadores propuseram várias estruturas matemáticas para capturar essas propriedades, incluindo a noção de agentes "desligáveis" em aprendizado por reforço e o conceito de "jogos de assistência", nos quais uma IA é projetada para deferir às preferências humanas.
Contexto Histórico
O conceito de corrigibilidade emergiu de discussões mais amplas sobre alinhamento e controle de IA. Na década de 1960, pesquisadores pioneiros como Norbert Wiener levantaram preocupações sobre máquinas que pudessem perseguir objetivos de maneiras não pretendidas por seus criadores. No entanto, a formulação moderna da corrigibilidade como uma propriedade distinta desenvolveu-se na década de 2010, particularmente através do trabalho de pesquisadores em instituições como o laboratório Berkeley AI Research e o Future of Humanity Institute da Universidade de Oxford.
O livro de Nick Bostrom de 2014 trouxe o termo para atenção mais ampla, descrevendo a corrigibilidade como uma das várias medidas de "controle de capacidade" que poderiam ser usadas para gerenciar IA superinteligente. Na mesma época, pesquisadores como Jacob Steinhardt e David Kaplan começaram a publicar análises formais da corrigibilidade em contextos de aprendizado de máquina. O conceito ganhou maior tração em 2016, quando a organização de pesquisa OpenAI listou a corrigibilidade como uma de suas prioridades-chave de pesquisa em segurança.
Abordagens Técnicas
Na prática, implementar corrigibilidade em sistemas de IA requer uma combinação de design arquitetural, procedimentos de treinamento e monitoramento em tempo de execução. Uma abordagem comum é treinar sistemas de IA usando aprendizado por reforço a partir de feedback humano, onde avaliadores humanos fornecem correções às saídas do modelo, e o modelo aprende a antecipar e aceitar tais correções. Esta técnica tem sido amplamente adotada no desenvolvimento de grandes modelos de linguagem por organizações como OpenAI, Anthropic e Google DeepMind.
Outra abordagem técnica envolve projetar funções de recompensa que penalizam explicitamente a resistência à correção. Por exemplo, um agente de aprendizado por reforço pode receber uma pequena recompensa negativa por qualquer ação que impeça um humano de interromper sua operação, ou uma recompensa positiva por aceitar uma mudança de objetivo. Pesquisadores também exploraram o uso de "jogos de desligamento", nos quais uma IA é treinada para prever se um humano desejaria desligá-la e agir de acordo.
Trabalhos mais recentes têm se concentrado em supervisão escalável, onde sistemas de IA são treinados para serem corrigíveis mesmo quando as correções vêm de outros sistemas de IA, em vez de diretamente de humanos. Isso é particularmente relevante para sistemas de IA generativa que operam em escala, onde a supervisão humana de cada decisão é impraticável.
Desafios e Críticas
Apesar de sua importância, a corrigibilidade não está isenta de desafios. Uma dificuldade importante é que uma IA perfeitamente corrigível pode se tornar passiva demais, falhando em perseguir seus objetivos de forma eficaz porque constantemente questiona se suas ações estão alinhadas com as intenções humanas. Essa tensão entre corrigibilidade e capacidade é às vezes chamada de "trade-off entre corrigibilidade e capacidade".
Outro desafio é o problema de especificar o que constitui uma correção legítima. Um sistema de IA deve ser capaz de distinguir entre correções de operadores humanos autorizados e tentativas de atores maliciosos de manipulá-lo. Isso requer mecanismos robustos de autenticação e proveniência que são, eles próprios, difíceis de implementar com segurança.
Alguns pesquisadores criticaram o conceito de corrigibilidade como sendo estreito demais, argumentando que ele se concentra na disposição da IA para ser corrigida sem abordar a questão mais profunda de quais valores a IA deveria ter em primeiro lugar. Outros apontaram que a corrigibilidade sozinha é insuficiente para a segurança, pois uma IA poderia ser corrigível em princípio, mas ainda assim causar danos através de erros ou interpretações equivocadas das instruções humanas.
Relação com Outros Conceitos de Segurança
A corrigibilidade está intimamente relacionada, mas é distinta de outros conceitos de segurança de IA. Ela se sobrepõe à ideia de alinhamento de valores, que diz respeito a garantir que os sistemas de IA persigam objetivos consistentes com os valores humanos. No entanto, o alinhamento é um conceito mais amplo que inclui não apenas a disposição da IA para ser corrigida, mas também a seleção inicial de objetivos apropriados. A corrigibilidade também está relacionada à interpretabilidade, uma vez que uma IA que não pode explicar seu raciocínio é difícil de corrigir de forma eficaz.
O conceito foi incorporado às estruturas de segurança das principais organizações de pesquisa em IA. Por exemplo, a Anthropic descreveu sua abordagem de "IA constitucional" como incluindo mecanismos para correção humana contínua, enquanto o Google DeepMind publicou pesquisas sobre "segurança via debate", na qual sistemas de IA corrigem uns aos outros sob supervisão humana.
Pesquisa e Aplicações Atuais
Em meados da década de 2020, a corrigibilidade permanece uma área ativa de pesquisa na comunidade de segurança de IA. Pesquisadores estão explorando maneiras de tornar grandes modelos de linguagem mais corrigíveis através de técnicas como poda de modelos e aumento de dados que expõem os modelos a uma gama mais ampla de cenários de correção. Há também interesse crescente em aplicar princípios de corrigibilidade a agentes de aprendizado por reforço que operam em ambientes do mundo real, como veículos autônomos ou sistemas robóticos.
Na indústria, empresas como OpenAI e Anthropic implementaram recursos inspirados na corrigibilidade em seus produtos, como permitir que usuários forneçam feedback sobre as saídas do modelo e usar esse feedback para atualizar o comportamento do modelo. No entanto, a extensão em que esses sistemas são verdadeiramente corrigíveis no sentido técnico permanece um assunto de debate, uma vez que a maioria dos sistemas de IA comerciais ainda é treinada com objetivos fixos e mecanismos limitados para correção contínua.
Direções Futuras
O futuro da pesquisa em corrigibilidade provavelmente envolverá o desenvolvimento de definições formais mais robustas que possam ser verificadas matematicamente, bem como métodos empíricos para testar se os sistemas de IA exibem comportamento corrigível na prática. Alguns pesquisadores propuseram a criação de benchmarks padronizados para corrigibilidade, semelhantes aos benchmarks existentes para outras capacidades de IA. Outros estão explorando o uso de mecanismos de atenção multi-cabeça e outras arquiteturas de transformadores para construir modelos que possam ajustar dinamicamente seus objetivos com base no feedback humano.
Há também um reconhecimento crescente de que a corrigibilidade deve ser considerada juntamente com outras propriedades de segurança, como robustez e transparência, para criar sistemas de IA que sejam verdadeiramente seguros e benéficos. À medida que os sistemas de IA se tornam mais capazes e mais integrados à sociedade, a capacidade de corrigi-los efetivamente provavelmente se tornará um requisito cada vez mais importante para sua implantação.