Superinteligência refere-se a um intelecto hipotético que excederia vastamente o desempenho cognitivo das melhores mentes humanas em essencialmente todos os domínios, incluindo criatividade científica, sabedoria geral e habilidades sociais. O conceito é central para debates de longo prazo em segurança de IA e está mais intimamente associado ao filósofo Nick Bostrom, cujo livro de 2014 "Superinteligência: Caminhos, Perigos, Estratégias" trouxe a ideia à atenção mainstream e moldou grande parte do discurso subsequente sobre risco de IA.
Origens do conceito
A especulação sobre máquinas que excedem a inteligência humana precede a IA moderna. O matemático I. J. Good, colega de Alan Turing durante a Segunda Guerra Mundial, escreveu em um ensaio de 1965 que uma "máquina ultra-inteligente" poderia projetar máquinas ainda melhores, desencadeando uma "explosão de inteligência" que deixaria o intelecto humano para trás, uma dinâmica às vezes chamada de autoaperfeiçoamento recursivo. Essa ideia fundamenta grande parte do pensamento posterior sobre a singularidade tecnológica, um ponto hipotético de mudança tecnológica descontrolada.
Taxonomia de Bostrom
O livro de Bostrom distingue formas de superinteligência pelo tipo de vantagem envolvida: "superinteligência de velocidade" (uma mente de nível humano operando muito mais rápido), "superinteligência coletiva" (muitas mentes coordenadas de forma eficaz) e "superinteligência de qualidade" (uma mente qualitativamente superior, não apenas mais rápida). Ele também popularizou a "tese da ortogonalidade", a afirmação de que inteligência e objetivos finais são independentes, o que significa que um sistema altamente capaz não é automaticamente benevolente, e a tese relacionada de "convergência instrumental", de que agentes suficientemente capazes perseguindo quase qualquer objetivo tendem a buscar recursos, autopreservação e liberdade de interferência como subobjetivos úteis.
Caminhos para a superinteligência
Rotas propostas discutidas na literatura incluem escalar sistemas de modelos de linguagem de grande escala e modelos de fundação, emulação de cérebro inteiro, aprimoramento cognitivo biológico e inteligência coletiva em rede. Desde meados da década de 2020, a aposta dominante da indústria tem sido que escalar computação, dados e tamanho do modelo, guiado por leis de escalonamento empíricas, poderia eventualmente produzir sistemas com desempenho sobre-humano em amplos domínios, embora permaneça contestado se esse caminho leva a uma superinteligência geral genuína em vez de habilidade sobre-humana estreita.
Debates sobre segurança e controle
O "problema de controle" de Bostrom, como garantir que um sistema superinteligente permaneça alinhado com os valores humanos mesmo depois de superar a capacidade humana de avaliá-lo ou corrigi-lo, motiva grande parte da pesquisa contemporânea em alinhamento. Organizações incluindo a Anthropic, fundada em parte em torno dessa preocupação, e pesquisadores como Eliezer Yudkowsky argumentaram que a superinteligência desalinhada representa um sério risco existencial da IA. O CEO da Anthropic, Dario Amodei, e o cofundador da OpenAI, Ilya Sutskever, que mais tarde fundou a Safe Superintelligence explicitamente em torno desse objetivo em 2024, ambos enquadraram o desenvolvimento seguro de sistemas altamente capazes como um desafio definidor do campo.
Recepção e crítica
Os argumentos de Bostrom atraíram críticas substanciais. Alguns pesquisadores, incluindo Yann LeCun, argumentam que as arquiteturas atuais estão longe do tipo de agência geral e autônoma que os cenários assumem, e que narrativas especulativas de risco de longo horizonte distraem de danos concretos de curto prazo, como viés, desinformação e disrupção trabalhista. Outros questionam a tese da ortogonalidade ou argumentam que o autoaperfeiçoamento recursivo enfrenta retornos decrescentes e gargalos físicos, incluindo energia e fornecimento de chips, que o enquadramento puro de "explosão de inteligência" subestima. Apesar dessa contestação, a superinteligência permanece um ponto de referência nas discussões de governança de IA, citada em declarações como a carta aberta de 2023 alertando que mitigar o risco de extinção da IA deveria ser uma prioridade global ao lado de pandemias e guerra nuclear.