La superinteligencia se refiere a un intelecto hipotético que superaría vastamente el rendimiento cognitivo de las mejores mentes humanas en prácticamente todos los dominios, incluida la creatividad científica, la sabiduría general y las habilidades sociales. El concepto es central en los debates a largo plazo sobre seguridad de la IA y se asocia más estrechamente con el filósofo Nick Bostrom, cuyo libro de 2014 "Superinteligencia: caminos, peligros, estrategias" llevó la idea a la atención general y moldeó gran parte del discurso posterior sobre el riesgo de la IA.
Orígenes del concepto
La especulación sobre máquinas que superan la inteligencia humana precede a la IA moderna. El matemático I. J. Good, colega de Alan Turing durante la Segunda Guerra Mundial, escribió en un ensayo de 1965 que una "máquina ultra inteligente" podría diseñar máquinas aún mejores, desencadenando una "explosión de inteligencia" que dejaría atrás al intelecto humano, una dinámica a veces llamada auto-mejora recursiva. Esta idea subyace en gran parte del pensamiento posterior sobre la singularidad tecnológica, un punto hipotético de cambio tecnológico descontrolado.
Taxonomía de Bostrom
El libro de Bostrom distingue formas de superinteligencia según el tipo de ventaja involucrada: "superinteligencia de velocidad" (una mente a nivel humano que opera mucho más rápido), "superinteligencia colectiva" (muchas mentes coordinadas de manera efectiva) y "superinteligencia de calidad" (una mente cualitativamente superior, no solo más rápida). También popularizó la "tesis de ortogonalidad", la afirmación de que la inteligencia y los objetivos finales son independientes, lo que significa que un sistema altamente capaz no es automáticamente benevolente, y la tesis relacionada de "convergencia instrumental", según la cual agentes suficientemente capaces que persiguen casi cualquier objetivo tienden a buscar recursos, autopreservación y libertad de interferencia como subobjetivos útiles.
Caminos hacia la superinteligencia
Las rutas propuestas discutidas en la literatura incluyen escalar sistemas de modelos de lenguaje grandes y modelos fundacionales, emulación del cerebro completo, mejora cognitiva biológica e inteligencia colectiva en red. Desde mediados de la década de 2020, la apuesta dominante de la industria ha sido que escalar cómputo, datos y tamaño del modelo, guiado por leyes de escalado empíricas, podría eventualmente producir sistemas con rendimiento sobrehumano en amplios dominios, aunque si este camino conduce a una superinteligencia general genuina en lugar de una habilidad sobrehumana estrecha sigue siendo objeto de debate.
Debates sobre seguridad y control
El "problema de control" de Bostrom, cómo garantizar que un sistema superinteligente permanezca alineado con los valores humanos incluso después de superar la capacidad humana de evaluarlo o corregirlo, motiva gran parte de la investigación contemporánea sobre alineación. Organizaciones como Anthropic, fundada en parte en torno a esta preocupación, e investigadores como Eliezer Yudkowsky han argumentado que la superinteligencia desalineada plantea un riesgo existencial grave derivado de la IA. El CEO de Anthropic, Dario Amodei, y el cofundador de OpenAI, Ilya Sutskever, quien más tarde fundó Safe Superintelligence explícitamente en torno a este objetivo en 2024, han enmarcado ambos el desarrollo seguro de sistemas altamente capaces como un desafío definitorio del campo.
Recepción y críticas
Los argumentos de Bostrom han atraído críticas sustanciales. Algunos investigadores, incluido Yann LeCun, argumentan que las arquitecturas actuales están lejos del tipo de agencia general y autónoma que asumen los escenarios, y que las narrativas especulativas de riesgo a largo plazo distraen de daños más inmediatos y concretos, como el sesgo, la desinformación y la disrupción laboral. Otros cuestionan la tesis de ortogonalidad o argumentan que la auto-mejora recursiva enfrenta rendimientos decrecientes y cuellos de botella físicos, incluidos el suministro de energía y chips, que el marco puro de "explosión de inteligencia" subestima. A pesar de esta disputa, la superinteligencia sigue siendo un punto de referencia en las discusiones de gobernanza de la IA, citada en declaraciones como la carta abierta de 2023 que advierte que mitigar el riesgo de extinción por IA debería ser una prioridad global junto con pandemias y guerra nuclear.