Nick Bostrom é um filósofo sueco cujo trabalho sobre risco tecnológico de longo prazo, e em particular seu livro de 2014 "Superinteligência: Caminhos, Perigos, Estratégias", ajudou a estabelecer o risco existencial da IA como um assunto de discussão acadêmica e pública séria.
Bostrom ocupou uma cátedra na Universidade de Oxford, onde em 2005 fundou e dirigiu o Future of Humanity Institute (FHI), um centro de pesquisa interdisciplinar que estudava riscos em larga escala para o futuro de longo prazo da humanidade, incluindo riscos de IA avançada, biotecnologia e outras tecnologias emergentes, juntamente com questões mais amplas em filosofia e teoria da probabilidade. O FHI operou por quase duas décadas antes de fechar em abril de 2024 em meio a atritos administrativos com a universidade, apesar de ter se tornado um dos centros mais influentes para a pesquisa inicial em AI safety e alinhamento de IA.
Superinteligência e conceitos centrais
O livro de 2014 de Bostrom, "Superinteligência", apresentou um argumento sistemático de que um sistema de IA substancialmente mais capaz do que os humanos em todos os domínios cognitivamente relevantes, uma superinteligência, poderia representar riscos graves se seus objetivos não fossem cuidadosamente alinhados com os valores humanos, mesmo que nenhuma etapa individual em seu desenvolvimento envolvesse malícia ou erro óbvio. O livro popularizou vários conceitos que permanecem centrais para o discurso sobre segurança de IA: a tese da ortogonalidade, a ideia de que o nível de inteligência de um sistema de IA é independente de seus objetivos finais, o que significa que um sistema altamente capaz poderia perseguir objetivos arbitrários ou triviais; a convergência instrumental, a observação de que uma ampla gama de objetivos levaria uma IA avançada a buscar subobjetivos intermediários semelhantes, como autopreservação e aquisição de recursos; e o maximizador de clipes de papel, um experimento mental que ilustra como um sistema que otimiza de forma obstinada um objetivo aparentemente inofensivo poderia produzir resultados catastróficos. O livro foi citado por figuras como Elon Musk como levantando preocupações sérias sobre a trajetória do desenvolvimento da IA, e moldou substancialmente o vocabulário usado posteriormente em debates sobre AI safety em grandes laboratórios, incluindo OpenAI e Anthropic.
Argumento da simulação e outros trabalhos
Antes de Superinteligência, Bostrom era conhecido pelo argumento da simulação de 2003, que propôs que pelo menos uma de três proposições é provavelmente verdadeira: que civilizações quase sempre são extintas antes de alcançar um estágio capaz de executar simulações detalhadas de ancestrais, que tais civilizações escolheriam não executar muitas dessas simulações, ou que estamos quase certamente vivendo dentro de uma simulação. O argumento, embora não seja principalmente sobre IA, baseou-se em raciocínio semelhante sobre tecnologia futura avançada e se tornou amplamente discutido muito além da filosofia acadêmica.
Influência e críticas
O trabalho de Bostrom ajudou a inspirar a criação de outras organizações focadas em segurança de IA, incluindo o Machine Intelligence Research Institute e, mais tarde, o Future of Life Institute, e influenciou pesquisadores como Eliezer Yudkowsky, Max Tegmark e Dan Hendrycks, que continuaram o trabalho sobre risco de IA de longo prazo após o fechamento do FHI. Críticos argumentaram que os cenários de Bostrom dependem de suposições especulativas e difíceis de falsear sobre capacidades futuras de IA, e que focar em riscos especulativos de longo prazo pode distrair de danos mais imediatos e documentados de sistemas de IA implantados, uma tensão que persistiu no campo mais amplo de AI safety entre o enquadramento de risco de curto e longo prazo.