Risco existencial da IA refere-se ao argumento de que inteligência artificial suficientemente avançada poderia causar a extinção humana ou um colapso irreversível da civilização, e ao corpo de pesquisa e advocacia organizado em torno de identificar, medir e mitigar essa possibilidade. É um subconjunto do campo mais amplo de segurança de IA e se sobrepõe fortemente aos debates sobre superinteligência e alinhamento.
Argumentos centrais
O argumento central sustenta que um sistema de IA suficientemente capaz, perseguindo objetivos não perfeitamente alinhados aos valores humanos, poderia causar danos catastróficos, não necessariamente por malícia, mas como efeito colateral da otimização de um objetivo mal especificado, um modo de falha às vezes chamado de recompensa por hacking. Os proponentes argumentam que um sistema com amplitude suficiente de capacidade e autonomia, particularmente um capaz de planejar e usar ferramentas externas, poderia resistir à correção ou ao desligamento como um subobjetivo instrumentalmente útil, independentemente de seu objetivo final, uma alegação conhecida como convergência instrumental. Os céticos contestam que essa cadeia de raciocínio depende de suposições não comprovadas sobre como capacidade, direcionamento a objetivos e autonomia realmente se desenvolverão em sistemas reais.
Principais proponentes
O filósofo Nick Bostrom estabeleceu as bases acadêmicas iniciais com um artigo de 2002 sobre risco existencial e seu livro de 2014 sobre superinteligência. O pesquisador Eliezer Yudkowsky, fundador do Machine Intelligence Research Institute, argumenta há mais de uma década que a superinteligência desalinhada representa uma ameaça severa e subestimada, e defende controles internacionais rígidos sobre o desenvolvimento de IA de fronteira. O cientista da computação Dan Hendrycks, autor do benchmark de conhecimento MMLU, direcionou pesquisas por meio do Center for AI Safety para quantificar e comunicar riscos catastróficos. Os pioneiros da aprendizagem profunda Yoshua Bengio e Geoffrey Hinton, este último após deixar o Google em 2023, declararam publicamente que o avanço da capacidade da IA aumenta a plausibilidade de riscos severos, incluindo os existenciais.
A declaração de 2023 e a carta de pausa
A preocupação pública cristalizou-se em 2023 por meio de dois documentos notáveis. Em março, a carta de pausa do Future of Life Institute pediu uma pausa de seis meses no treinamento de sistemas de IA mais capazes que o GPT-4, reunindo milhares de signatários, incluindo pesquisadores e tecnólogos proeminentes, embora vários signatários não tenham pausado o desenvolvimento. Em maio, o Center for AI Safety publicou uma declaração de uma frase, "Mitigar o risco de extinção da IA deve ser uma prioridade global, ao lado de outros riscos em escala societal, como pandemias e guerra nuclear", assinada por centenas de pesquisadores e executivos de IA, incluindo líderes de OpenAI, Google DeepMind e Anthropic.
Contra-argumentos e ceticismo
Céticos proeminentes incluem Yann LeCun, que argumentou que o enquadramento de risco existencial é especulativo e prematuro, dadas as limitações dos sistemas atuais, e Gary Marcus, que criticou tanto as suposições técnicas por trás dos cenários de catástrofe quanto os incentivos dos laboratórios que simultaneamente alertam sobre risco catastrófico enquanto correm para construir sistemas mais capazes. Críticos, incluindo Timnit Gebru e Emily Bender, argumentaram que o foco em risco de extinção hipotético de longo prazo desvia atenção e recursos de danos documentados de curto prazo, como saídas enviesadas, deslocamento de mão de obra e concentração de poder entre um pequeno número de empresas.
Resposta política
O enquadramento de risco existencial e catastrófico influenciou políticas governamentais, incluindo a Declaração de Bletchley do Reino Unido de 2023, assinada por 28 países na Cúpula de Segurança de IA, e cláusulas que abordam risco sistêmico dos modelos de propósito geral mais capazes dentro da regulamentação de IA da União Europeia. Vários laboratórios de fronteira, incluindo Anthropic e OpenAI, publicaram estruturas internas de gestão de risco, às vezes chamadas de políticas de escalonamento responsável, comprometendo-se com salvaguardas vinculadas à capacidade à medida que os modelos cruzam limites de risco definidos.