Nick Bostrom es un filósofo sueco cuyo trabajo sobre el riesgo tecnológico a largo plazo, y en particular su libro de 2014 "Superintelligence: Paths, Dangers, Strategies", ayudó a establecer el riesgo existencial de la IA como un tema de discusión académica y pública seria.
Bostrom ocupó una cátedra en la Universidad de Oxford, donde en 2005 fundó y dirigió el Future of Humanity Institute (FHI), un centro de investigación interdisciplinario que estudiaba los riesgos a gran escala para el futuro a largo plazo de la humanidad, incluidos los riesgos de la IA avanzada, la biotecnología y otras tecnologías emergentes, junto con cuestiones más amplias de filosofía y teoría de la probabilidad. El FHI operó durante casi dos décadas antes de cerrar en abril de 2024 en medio de fricciones administrativas con la universidad, a pesar de haberse convertido en uno de los centros más influyentes para la investigación temprana en AI safety y alineación de la IA.
Superinteligencia y conceptos centrales
El libro de Bostrom de 2014 "Superintelligence" presentó un argumento sistemático de que un sistema de IA sustancialmente más capaz que los humanos en todos los dominios cognitivamente relevantes, una superinteligencia, podría plantear riesgos graves si sus objetivos no estuvieran cuidadosamente alineados con los valores humanos, incluso si ningún paso individual en su desarrollo implicara malicia o error evidente. El libro popularizó varios conceptos que siguen siendo centrales en el discurso sobre seguridad de la IA: la tesis de la ortogonalidad, la idea de que el nivel de inteligencia de un sistema de IA es independiente de sus objetivos finales, lo que significa que un sistema altamente capaz podría perseguir objetivos arbitrarios o triviales; la convergencia instrumental, la observación de que una amplia gama de objetivos llevaría a una IA avanzada a perseguir subobjetivos intermedios similares, como la autopreservación y la adquisición de recursos; y el maximizador de clips, un experimento mental que ilustra cómo un sistema que optimiza de manera obsesiva un objetivo aparentemente inofensivo podría producir resultados catastróficos. El libro fue citado por figuras como Elon Musk por plantear serias preocupaciones sobre la trayectoria del desarrollo de la IA, y moldeó sustancialmente el vocabulario utilizado más tarde en los debates sobre AI safety en laboratorios importantes como OpenAI y Anthropic.
Argumento de la simulación y otros trabajos
Antes de Superintelligence, Bostrom era conocido por el argumento de la simulación de 2003, que proponía que al menos una de tres proposiciones es probablemente verdadera: que las civilizaciones casi siempre se extinguen antes de alcanzar una etapa capaz de ejecutar simulaciones detalladas de ancestros, que tales civilizaciones elegirían no ejecutar muchas de esas simulaciones, o que casi con certeza vivimos dentro de una simulación. El argumento, aunque no se centraba principalmente en la IA, se basaba en un razonamiento similar sobre la tecnología futura avanzada y se discutió ampliamente mucho más allá de la filosofía académica.
Influencia y críticas
El trabajo de Bostrom ayudó a inspirar la creación de otras organizaciones centradas en la seguridad de la IA, incluido el Machine Intelligence Research Institute y, más tarde, el Future of Life Institute, e influyó en investigadores como Eliezer Yudkowsky, Max Tegmark y Dan Hendrycks, quienes continuaron trabajando en el riesgo de la IA a largo plazo después del cierre del FHI. Los críticos han argumentado que los escenarios de Bostrom se basan en suposiciones especulativas y difíciles de falsar sobre las capacidades futuras de la IA, y que centrarse en riesgos especulativos a largo plazo puede distraer de daños más inmediatos y documentados de los sistemas de IA desplegados, una tensión que ha persistido en el campo más amplio de la AI safety entre el encuadre del riesgo a corto y a largo plazo.