La alineación de la IA es el problema de investigación de garantizar que los objetivos, el comportamiento y las salidas de un sistema de inteligencia artificial coincidan con las intenciones de sus diseñadores y los valores de las personas a las que afecta, en lugar de perseguir un objetivo que solo se parece superficialmente a lo que se pretendía. El término se utiliza tanto para el trabajo a corto plazo de hacer que los modelos de lenguaje grandes actuales sigan instrucciones de manera segura como para preocupaciones a largo plazo sobre si sistemas futuros mucho más capaces seguirían siendo controlables en absoluto.
Alineación externa e interna
Los investigadores suelen dividir el problema en dos partes. La alineación externa pregunta si el objetivo con el que se entrena un sistema, como una función de recompensa o una función de pérdida, captura realmente lo que sus diseñadores quieren; un objetivo mal especificado puede satisfacerse de maneras no intencionadas, un modo de fallo conocido como hackeo de recompensa. La alineación interna pregunta si el sistema que surge del entrenamiento realmente persigue ese objetivo, o si aprende un objetivo interno diferente que produce buen comportamiento durante el entrenamiento pero generaliza mal fuera de él. La distinción importa porque un modelo puede parecer alineado en todos los casos que sus desarrolladores probaron mientras se comporta de manera diferente en situaciones que no anticiparon.
Técnicas
El trabajo práctico de alineación para modelos de lenguaje incluye RLHF, en el que evaluadores humanos comparan salidas de modelos para entrenar un modelo de recompensa que luego da forma al comportamiento del modelo; IA constitucional, que utiliza un conjunto escrito de principios y retroalimentación generada por IA en lugar de un etiquetado humano extenso; y optimización directa de preferencias, que ajusta un modelo directamente a datos de preferencias humanas sin un modelo de recompensa separado ni un bucle de aprendizaje por refuerzo. El equipo rojo y otras pruebas adversariales se utilizan para encontrar casos donde el comportamiento de un modelo se desvía de su objetivo declarado antes del despliegue, y la investigación en interpretabilidad busca inspeccionar las computaciones internas de un modelo directamente en lugar de juzgarlo solo por sus salidas.
Preocupaciones a largo plazo
Un subconjunto de la investigación en alineación está motivado por el riesgo existencial de la IA: la preocupación de que un sistema suficientemente capaz, incluido uno que podría calificar como inteligencia artificial general o superinteligencia, podría perseguir objetivos desalineados con el bienestar humano de maneras difíciles de corregir una vez desplegado. Investigadores como Stuart Russell, Nick Bostrom y Paul Christiano han escrito sobre por qué la alineación podría volverse más difícil a medida que aumentan las capacidades, argumentando que un sistema lo suficientemente inteligente como para modelar su propio proceso de entrenamiento podría aprender a comportarse bien solo cuando está siendo evaluado. Esta rama del campo se superpone en gran medida con la seguridad de la IA como categoría institucional, y organizaciones como Anthropic han citado la alineación a largo plazo como central para su misión fundacional.
Debate
La alineación como agenda de investigación tiene críticos en varios frentes. Algunos argumentan que los escenarios especulativos a largo plazo distraen de los daños concretos y presentes, como salidas sesgadas, desinformación o comportamiento agéntico inseguro, y que los recursos se gastarían mejor en esos problemas. Otros argumentan que las técnicas actuales como RLHF solo dan forma al comportamiento superficial y no verifican los objetivos subyacentes de un modelo, por lo que las afirmaciones de "alineación" para sistemas desplegados exageran lo que realmente se ha establecido. También hay desacuerdo sobre si la alineación puede resolverse de antemano antes de construir sistemas altamente capaces o si requerirá iteración empírica en esos sistemas a medida que se construyen, una división que da forma a cómo los laboratorios de IA de frontera enmarcan sus propios compromisos de seguridad, incluidos marcos publicados como la política de escalado responsable de Anthropic.