Alinhamento de IA é o problema de pesquisa de garantir que os objetivos, o comportamento e as saídas de um sistema de inteligência artificial correspondam às intenções de seus projetistas e aos valores das pessoas que ele afeta, em vez de perseguir um objetivo que apenas superficialmente se assemelha ao que foi pretendido. O termo é usado tanto para o trabalho de curto prazo em fazer os modelos de linguagem grandes atuais seguirem instruções com segurança quanto para preocupações de longo prazo sobre se sistemas futuros muito mais capazes permaneceriam controláveis de alguma forma.
Alinhamento externo e interno
Pesquisadores comumente dividem o problema em duas partes. O alinhamento externo pergunta se o objetivo sob o qual um sistema é treinado, como uma função de recompensa ou uma função de perda, realmente captura o que seus projetistas desejam; um objetivo mal especificado pode ser satisfeito de maneiras não intencionais, um modo de falha conhecido como hacking de recompensa. O alinhamento interno pergunta se o sistema que emerge do treinamento realmente persegue esse objetivo, ou em vez disso aprende um objetivo interno diferente que por acaso produz bom comportamento durante o treinamento, mas generaliza mal fora dele. A distinção importa porque um modelo pode parecer alinhado em todos os casos que seus desenvolvedores testaram enquanto se comporta de maneira diferente em situações que eles não anteciparam
Técnicas
O trabalho prático de alinhamento para modelos de linguagem inclui RLHF, no qual avaliadores humanos comparam saídas de modelos para treinar um modelo de recompensa que então molda o comportamento do modelo; IA constitucional, que usa um conjunto escrito de princípios e feedback gerado por IA no lugar de extensa rotulagem humana; otimização direta de preferência, que ajusta um modelo diretamente a dados de preferência humana sem um modelo de recompensa separado ou um loop de aprendizado por reforço. testes adversariais e outros testes adversariais são usados para encontrar casos onde o comportamento de um modelo diverge de seu objetivo declarado antes da implantação,e a pesquisa de interpretabilidade visa inspecionar as computações internas de um modelo diretamente em vez de julgá-lo apenas por suas saídas
Preocupações de longo prazo
Um subconjunto da pesquisa de alinhamento é motivado por risco existencial da IA: a preocupação de que um sistema suficientemente capaz, incluindo um que possa se qualificar como inteligência artificial geral ou superinteligência, poderia perseguir objetivos desalinhados com o bem-estar humano de maneiras que são difíceis de corrigir uma vez implantado. Pesquisadores como Stuart Russell, Nick Bostrom e Paul Christiano escreveram sobre por que o alinhamento pode se tornar mais difícil à medida que as capacidades aumentam, argumentando que um sistema inteligente o suficiente para modelar seu próprio processo de treinamento poderia aprender a se comportar bem apenas quando está sendo avaliado. Este fio do campo se sobrepõe fortemente com segurança de IA como uma categoria institucional,e organizações incluindo a Anthropic citaram o alinhamento de longo prazo como central para sua missão fundadora
Debate
O alinhamento como uma agenda de pesquisa tem críticos de vários lados. Alguns argumentam que cenários especulativos de longo prazo distraem de danos concretos e presentes, como saídas tendenciosas, desinformação, ou comportamento agêntico inseguro,e que os recursos seriam melhor gastos nesses problemas. Outros argumentam que técnicas atuais como RLHF apenas moldam o comportamento superficial e não verificam os objetivos subjacentes de um modelo, então afirmações de "alinhamento" para sistemas implantados exageram o que realmente foi estabelecido. Há também desacordo sobre se o alinhamento pode ser resolvido antes de construir sistemas altamente capazes ou se exigirá iteração empírica nesses sistemas à medida que são construídos, uma divisão que molda como os laboratórios de IA de fronteira enquadram seus próprios compromissos de segurança, incluindo estruturas publicadas como a política de escalonamento responsável da Anthropic.