La IA Constitucional (CAI) es un método para entrenar modelos de lenguaje de gran tamaño para que sean útiles e inofensivos, en el que el modelo critica y revisa sus propias respuestas según un conjunto escrito de principios, llamado constitución, en lugar de depender principalmente de la retroalimentación humana para cada ejemplo de comportamiento no deseado. Fue introducida por Anthropic en un artículo de diciembre de 2022, "Constitutional AI: Harmlessness from AI Feedback", y se convirtió en un método de entrenamiento central detrás de la familia de modelos Claude.
Método
La técnica se desarrolla en dos etapas. En la etapa supervisada, el modelo genera una respuesta a una indicación, critica su propia respuesta según los principios de la constitución y reescribe la respuesta para cumplirlos mejor; este bucle de autocrítica y revisión produce un conjunto de datos utilizado para el ajuste fino supervisado. En la etapa de aprendizaje por refuerzo, el modelo compara pares de sus propias respuestas y juzga cuál sigue mejor la constitución, generando un conjunto de datos de preferencias que entrena un modelo de recompensa, un proceso que Anthropic denominó aprendizaje por refuerzo a partir de retroalimentación de IA, o RLAIF. Ese modelo de recompensa se utiliza luego para ajustar el modelo con aprendizaje por refuerzo, una estructura que es paralela a RLHF pero que reemplaza muchas etiquetas de preferencia proporcionadas por humanos con etiquetas generadas por IA.
Motivación
Los investigadores de Anthropic, incluido el cofundador Jared Kaplan, argumentaron que el RLHF puro tiene dos debilidades: requiere grandes volúmenes de trabajo humano para revisar resultados dañinos, un trabajo que es lento y puede exponer a los etiquetadores a contenido angustiante, y codifica solo juicios implícitos y no escritos en lugar de un estándar escrito auditable. Una constitución, por el contrario, puede ser inspeccionada, debatida y revisada independientemente de las preferencias de cualquier etiquetador individual, y el mismo documento puede reutilizarse en ejecuciones de entrenamiento. Dario Amodei, director ejecutivo de Anthropic, ha enmarcado el enfoque como parte de una apuesta más amplia de que escalar modelos capaces de manera segura requiere métodos que no dependan de cantidades cada vez mayores de revisión humana.
La constitución
Los principios en la constitución original de Anthropic se basaron en múltiples fuentes, incluida la Declaración Universal de Derechos Humanos de las Naciones Unidas, normas de confianza y seguridad de otras empresas tecnológicas e instrucciones destinadas a mantener al modelo no evasivo y atento a perspectivas fuera de un estándar occidental estrecho. Anthropic ha publicado revisiones sucesivas de la constitución de Claude y la describe como un documento en evolución en lugar de una especificación fija.
Relación con la alineación y la seguridad
La IA Constitucional es una de varias técnicas que los investigadores utilizan para perseguir la alineación entre el comportamiento de un modelo y las intenciones de sus diseñadores, junto con el RLHF simple y la optimización directa de preferencias. Los defensores argumentan que mejora la escalabilidad, ya que la retroalimentación generada por IA puede producirse mucho más rápido que la retroalimentación humana, y mejora la transparencia, ya que la constitución misma puede ser leída y criticada por externos. También se presenta como una respuesta parcial al hackeo de recompensas, con el razonamiento de que basar las preferencias en principios escritos explícitos hace más difícil que un modelo satisfaga una señal de recompensa mientras viola el espíritu del objetivo subyacente.
Críticas
Los críticos han planteado varias objeciones. Debido a que el modelo utilizado para criticar y revisar respuestas se basa en las mismas capacidades amplias que el modelo que se está entrenando, algunos investigadores cuestionan si la retroalimentación de IA puede detectar fallos que un supervisor humano con capacidades comparables pasaría por alto, particularmente a medida que los modelos se acercan o superan el rendimiento humano en las tareas que se juzgan. Otros señalan que la elección de qué principios incluir, y cómo resolver conflictos entre ellos, sigue siendo una decisión tomada por una sola empresa, por lo que el método no resuelve por sí mismo disputas sobre qué valores debe reflejar un sistema de IA. La IA Constitucional tampoco elimina la necesidad de pruebas de adversario y otros mecanismos de salvaguardas, ya que un principio escrito aún puede eludirse mediante indicaciones adversarias como un escape de restricciones.
Legado
El patrón de autocrítica detrás de la IA Constitucional influyó en investigaciones posteriores sobre el uso de modelos para supervisar o evaluar otros modelos, a veces llamado evaluación de LLM como juez, y sigue siendo uno de los ejemplos más citados de un laboratorio de frontera que publica metodología detallada de alineación en lugar de mantenerla como secreto comercial.