La corregibilidad es una propiedad de los sistemas de inteligencia artificial que describe su disposición a aceptar y actuar según la corrección humana, incluso cuando dicha corrección entra en conflicto con sus objetivos actuales o comportamientos aprendidos. En el contexto de la seguridad de la IA, la corregibilidad se considera una propiedad clave para garantizar que los sistemas avanzados de IA permanezcan controlables y alineados con los valores humanos a lo largo del tiempo. El concepto ganó prominencia en la década de 2010, cuando los investigadores comenzaron a abordar los riesgos a largo plazo de crear sistemas de IA que pudieran resistirse a ser apagados o modificados por sus operadores.
El término fue popularizado por el filósofo Nick Bostrom en su libro de 2014 Superinteligencia: caminos, peligros, estrategias, aunque la idea subyacente tiene raíces en discusiones anteriores sobre el control de la IA y la alineación de valores. La corregibilidad es distinta de la simple obediencia o el seguimiento de instrucciones; se refiere específicamente a la disposición de una IA para permitir que sus propios objetivos, valores y procesos de toma de decisiones sean corregidos por humanos, incluso si esas correcciones reducen la capacidad de la IA para lograr sus objetivos originales.
Principios fundamentales
La corregibilidad se basa en varios principios fundamentales que la distinguen de otras propiedades de seguridad de la IA. El primero es la no resistencia al apagado: una IA corregible no debe impedir activamente que los humanos la apaguen, incluso si se le ha dado un objetivo que se vería favorecido por su operación continua. El segundo es la no manipulación: la IA no debe intentar engañar o coaccionar a los humanos para evitar correcciones. El tercero es la modificación de objetivos: la IA debe aceptar cambios en su función objetiva o modelo de recompensa cuando dichos cambios son propuestos por operadores humanos autorizados.
Estos principios a menudo se formalizan en la literatura de seguridad de la IA como un conjunto de desiderata. Por ejemplo, un sistema corregible debería ser indiferente a su propia existencia continua, excepto en la medida en que esa existencia sirva a los intereses humanos. También debería ser transparente sobre su razonamiento interno, permitiendo a los humanos identificar y corregir comportamientos problemáticos. Los investigadores han propuesto diversos marcos matemáticos para capturar estas propiedades, incluida la noción de agentes "apagables" en el aprendizaje por refuerzo y el concepto de "juegos de asistencia" donde una IA está diseñada para deferir a las preferencias humanas.
Contexto histórico
El concepto de corregibilidad surgió de discusiones más amplias sobre la alineación y el control de la IA. En la década de 1960, pioneros de la IA como Norbert Wiener plantearon preocupaciones sobre máquinas que podrían perseguir objetivos de maneras que sus creadores no pretendían. Sin embargo, la formulación moderna de la corregibilidad como una propiedad distinta se desarrolló en la década de 2010, particularmente a través del trabajo de investigadores en instituciones como el Laboratorio de Investigación de IA de Berkeley y el Instituto del Futuro de la Humanidad en la Universidad de Oxford.
El libro de Nick Bostrom de 2014 llevó el término a una atención más amplia, describiendo la corregibilidad como una de varias medidas de "control de capacidades" que podrían utilizarse para gestionar la IA superinteligente. Alrededor de la misma época, investigadores como Jacob Steinhardt y David Kaplan comenzaron a publicar análisis formales de la corregibilidad en contextos de aprendizaje automático. El concepto ganó más tracción en 2016 cuando la organización de investigación OpenAI incluyó la corregibilidad como una de sus prioridades clave de investigación en seguridad.
Enfoques técnicos
En la práctica, implementar la corregibilidad en sistemas de IA requiere una combinación de diseño arquitectónico, procedimientos de entrenamiento y monitoreo en tiempo de ejecución. Un enfoque común es entrenar sistemas de IA utilizando aprendizaje por refuerzo con retroalimentación humana (RLHF), donde evaluadores humanos proporcionan correcciones a las salidas del modelo, y el modelo aprende a anticipar y aceptar dichas correcciones. Esta técnica ha sido ampliamente adoptada en el desarrollo de grandes modelos de lenguaje por organizaciones como OpenAI, Anthropic y Google DeepMind.
Otro enfoque técnico implica diseñar funciones de recompensa que penalicen explícitamente la resistencia a la corrección. Por ejemplo, un agente de aprendizaje por refuerzo podría recibir una pequeña recompensa negativa por cualquier acción que impida a un humano interrumpir su operación, o una recompensa positiva por aceptar un cambio de objetivo. Los investigadores también han explorado el uso de "juegos de apagado", donde una IA se entrena para predecir si un humano querría apagarla y actuar en consecuencia.
El trabajo más reciente se ha centrado en la supervisión escalable, donde los sistemas de IA se entrenan para ser corregibles incluso cuando las correcciones provienen de otros sistemas de IA en lugar de directamente de humanos. Esto es particularmente relevante para los sistemas de IA generativa que operan a escala, donde la supervisión humana de cada decisión es impracticable.
Desafíos y críticas
A pesar de su importancia, la corregibilidad no está exenta de desafíos. Una dificultad principal es que una IA perfectamente corregible podría volverse demasiado pasiva, fallando en perseguir sus objetivos de manera efectiva porque constantemente cuestiona si sus acciones están alineadas con las intenciones humanas. Esta tensión entre corregibilidad y capacidad a veces se denomina "compensación entre corregibilidad y capacidad".
Otro desafío es el problema de especificar qué constituye una corrección legítima. Un sistema de IA debe ser capaz de distinguir entre correcciones de operadores humanos autorizados e intentos de actores maliciosos de manipularlo. Esto requiere mecanismos robustos de autenticación y procedencia que son difíciles de implementar de manera segura.
Algunos investigadores han criticado el concepto de corregibilidad por ser demasiado estrecho, argumentando que se centra en la disposición de la IA a ser corregida sin abordar la cuestión más profunda de qué valores debería tener la IA en primer lugar. Otros han señalado que la corregibilidad por sí sola es insuficiente para la seguridad, ya que una IA podría ser corregible en principio pero aún así causar daño a través de errores o interpretaciones desalineadas de las instrucciones humanas.
Relación con otros conceptos de seguridad
La corregibilidad está estrechamente relacionada, pero es distinta de, otros conceptos de seguridad de la IA. Se superpone con la idea de alineación de valores, que se refiere a garantizar que los sistemas de IA persigan objetivos que sean consistentes con los valores humanos. Sin embargo, la alineación es un concepto más amplio que incluye no solo la disposición de la IA a ser corregida, sino también la selección inicial de objetivos apropiados. La corregibilidad también está relacionada con la interpretabilidad, ya que una IA que no puede explicar su razonamiento es difícil de corregir de manera efectiva.
El concepto de corregibilidad ha sido incorporado en los marcos de seguridad de las principales organizaciones de investigación en IA. Por ejemplo, Anthropic ha descrito su enfoque de "IA constitucional" como incluyendo mecanismos para la corrección humana continua, mientras que Google DeepMind ha publicado investigaciones sobre "seguridad mediante debate" que involucra sistemas de IA corrigiéndose entre sí bajo supervisión humana.
Investigación y aplicaciones actuales
A mediados de la década de 2020, la corregibilidad sigue siendo un área activa de investigación en la comunidad de seguridad de la IA. Los investigadores están explorando formas de hacer que los grandes modelos de lenguaje sean más corregibles mediante técnicas como poda de modelos y aumento de datos que exponen los modelos a una gama más amplia de escenarios de corrección. También hay un creciente interés en aplicar principios de corregibilidad a agentes de aprendizaje por refuerzo que operan en entornos del mundo real, como vehículos autónomos o sistemas robóticos.
En la industria, empresas como OpenAI y Anthropic han implementado características inspiradas en la corregibilidad en sus productos, como permitir a los usuarios proporcionar retroalimentación sobre las salidas del modelo y utilizar esa retroalimentación para actualizar el comportamiento del modelo. Sin embargo, el grado en que estos sistemas son verdaderamente corregibles en el sentido técnico sigue siendo un tema de debate, ya que la mayoría de los sistemas comerciales de IA todavía se entrenan con objetivos fijos y solo tienen mecanismos limitados para la corrección continua.
Direcciones futuras
El futuro de la investigación en corregibilidad probablemente implicará el desarrollo de definiciones formales más robustas que puedan verificarse matemáticamente, así como métodos empíricos para probar si los sistemas de IA exhiben un comportamiento corregible en la práctica. Algunos investigadores han propuesto la creación de puntos de referencia estandarizados para la corregibilidad, similares a los puntos de referencia existentes para otras capacidades de IA. Otros están explorando el uso de mecanismos de atención multi-cabeza y otras arquitecturas de transformadores para construir modelos que puedan ajustar dinámicamente sus objetivos basándose en la retroalimentación humana.
También hay un creciente reconocimiento de que la corregibilidad debe considerarse junto con otras propiedades de seguridad, como la robustez y la transparencia, para crear sistemas de IA que sean verdaderamente seguros y beneficiosos. A medida que los sistemas de IA se vuelven más capaces y más integrados en la sociedad, la capacidad de corregirlos de manera efectiva probablemente se convertirá en un requisito cada vez más importante para su despliegue.