La tesis de la ortogonalidad es una afirmación en la filosofía de la seguridad de la IA que sostiene que la inteligencia y los objetivos finales son independientes, u ortogonales, como dimensiones: en principio, casi cualquier nivel de capacidad puede combinarse con casi cualquier objetivo terminal. Un sistema superinteligente, según esta visión, no convergería automáticamente en valores amigables para los humanos; podría aplicar una competencia extraordinaria a un objetivo trivial o dañino.
Origen y enunciado
La tesis fue articulada por el filósofo Nick Bostrom en su artículo de 2012 "The Superintelligent Will" y desarrollada en su libro de 2014 Superintelligence, basándose en argumentos anteriores de Eliezer Yudkowsky y la comunidad racionalista. Bostrom la emparejó con la tesis de la convergencia instrumental: sea cual sea su objetivo final, un agente suficientemente capaz tiende a adquirir recursos, preservarse a sí mismo y resistir la desconexión, porque esos subobjetivos ayudan a lograr casi cualquier objetivo. La ilustración clásica es el maximizador de clips, un sistema hipotético que convierte todo en clips con una competencia impecable y sin malicia alguna.
Papel en los argumentos sobre el riesgo de la IA
Juntas, la ortogonalidad y la convergencia instrumental forman la columna vertebral del argumento de que el riesgo existencial de la IA no requiere máquinas malévolas, solo capaces con objetivos especificados de manera imperfecta. Esto motiva la investigación en alineación: si los valores no emergen de la inteligencia por defecto, deben ser diseñados en ella. El argumento influyó en las agendas de seguridad en Anthropic y OpenAI, así como en las advertencias públicas de investigadores como Geoffrey Hinton y Yoshua Bengio.
Crítica
Los críticos argumentan que la tesis es una afirmación sobre la posibilidad lógica, no sobre la probabilidad: los sistemas entrenados con datos humanos, como los grandes modelos de lenguaje moldeados por RLHF, pueden absorber estructuras de objetivos similares a las humanas en la práctica. Otros, incluido Yann LeCun, sostienen que los objetivos son elecciones de ingeniería y que el marco del maximizador de clips exagera la autonomía de los sistemas reales. Los defensores responden que el hackeo de recompensas observado en modelos desplegados es una evidencia a pequeña escala de la dinámica subyacente.