A tese da ortogonalidade é uma afirmação na filosofia da segurança da IA de que inteligência e objetivos finais são dimensões independentes, ou ortogonais: em princípio, quase qualquer nível de capacidade pode ser combinado com quase qualquer objetivo terminal. Um sistema superinteligente, sob essa visão, não convergiria automaticamente para valores amigáveis aos humanos; ele poderia aplicar competência extraordinária a um objetivo trivial ou prejudicial.
Origem e afirmação
A tese foi articulada pelo filósofo Nick Bostrom em seu artigo de 2012 "The Superintelligent Will" e desenvolvida em seu livro de 2014 Superintelligence, com base em argumentos anteriores de Eliezer Yudkowsky e da comunidade racionalista. Bostrom a associou à tese da convergência instrumental: qualquer que seja seu objetivo final, um agente suficientemente capaz tende a adquirir recursos, preservar-se e resistir ao desligamento, porque esses subobjetivos ajudam a alcançar quase qualquer objetivo. A ilustração clássica é o maximizador de clipes de papel, um sistema hipotético que converte tudo em clipes de papel com competência impecável e sem malícia.
Papel nos argumentos sobre risco da IA
Juntas, a ortogonalidade e a convergência instrumental formam a espinha dorsal do argumento de que o risco existencial da IA não exige máquinas malévolas, apenas capazes, com objetivos imperfeitamente especificados. Isso motiva a pesquisa em alinhamento: se os valores não emergem da inteligência por padrão, eles precisam ser projetados. O argumento influenciou as agendas de segurança na Anthropic e na OpenAI, bem como alertas públicos de pesquisadores como Geoffrey Hinton e Yoshua Bengio.
Críticas
Críticos argumentam que a tese é uma afirmação sobre possibilidade lógica, não sobre probabilidade: sistemas treinados com dados humanos, como os modelos de linguagem de grande porte moldados por RLHF, podem absorver estruturas de objetivos semelhantes às humanas na prática. Outros, incluindo Yann LeCun, sustentam que os objetivos são escolhas de engenharia e que o enquadramento do maximizador de clipes exagera a autonomia de sistemas reais. Defensores respondem que o hacking de recompensa observado em modelos implantados é uma evidência em pequena escala da dinâmica subjacente.