En inteligencia artificial (IA), particularmente en aprendizaje automático, la ablación es la eliminación de un componente de un sistema de IA. Un estudio de ablación tiene como objetivo determinar la contribución de un componente a un sistema de IA eliminando el componente y luego analizando el rendimiento resultante del sistema. El término es una analogía con la biología, específicamente con la eliminación de componentes de un organismo, y se utiliza particularmente en el análisis de redes neuronales artificiales por analogía con la cirugía cerebral ablativa. Otras analogías incluyen sistemas neurológicos como el de Drosophila y el cerebro de vertebrados.
Los estudios de ablación requieren que un sistema exhiba una degradación elegante: el sistema debe continuar funcionando incluso cuando ciertos componentes faltan o están degradados. Según algunos investigadores, los estudios de ablación se han considerado una técnica conveniente para investigar la inteligencia artificial y su durabilidad ante daños estructurales. También se ha utilizado, por ejemplo, para estudiar cómo y qué estructuras de conocimiento de un modelo de cognición en Soar de Newell contribuyen a la cognición.
Los estudios de ablación dañan o eliminan ciertos componentes en un entorno controlado para investigar todos los resultados posibles de fallo del sistema; esto caracteriza cómo cada acción impacta el rendimiento y la capacidad general del sistema. El proceso de ablación se puede utilizar para probar sistemas que realizan tareas como reconocimiento de voz, detección de objetos y control de robots.
Historia
El término se atribuye a Allen Newell, uno de los fundadores de la inteligencia artificial, quien lo utilizó en su tutorial de 1974 sobre reconocimiento de voz, publicado en Newell (1975). El término es por analogía con la ablación en biología. La motivación era que, aunque los componentes individuales están diseñados, la contribución de un componente individual al rendimiento general del sistema no es clara; eliminar componentes permite este análisis. Newell comparó el cerebro humano con las computadoras artificiales. Con esto en mente, Newell veía ambos como sistemas de conocimiento, mientras que procedimientos como la ablación se pueden realizar en ambos para probar ciertas hipótesis.
Metodología
Los estudios de ablación típicamente implican eliminar o deshabilitar sistemáticamente partes específicas de un modelo, como capas, neuronas o cabezas de atención, y luego medir el cambio en el rendimiento en una tarea de referencia. Este proceso se repite a menudo para cada componente para construir un mapa de qué partes son esenciales y cuáles son redundantes. En el aprendizaje profundo, la ablación se puede aplicar a componentes como conexiones residuales, normalización por lotes o capas de abandono. Por ejemplo, un estudio de ablación podría eliminar un mecanismo de atención de múltiples cabezas de un modelo transformador para ver cuánto se degrada su rendimiento en una tarea de lenguaje, revelando la importancia de ese mecanismo.
Aplicaciones
La ablación se utiliza ampliamente en la investigación de aprendizaje automático para validar el diseño de nuevas arquitecturas. Cuando un equipo de investigación introduce un componente novedoso, como una nueva función de pérdida o codificación posicional, a menudo realizan estudios de ablación para demostrar que el componente es responsable de las mejoras observadas. Esta es una práctica estándar en artículos presentados en conferencias importantes. En la detección de objetos y el reconocimiento de voz, la ablación ayuda a identificar qué características de un modelo son críticas para la precisión. En las redes neuronales, la ablación también se puede utilizar para comprender el papel de capas o filtros individuales, de manera similar a cómo los neurocientíficos lesionan regiones cerebrales para estudiar su función.
Uso para la desensura de LLM
El término abliteración se ha acuñado para el proceso de usar la ablación para desensurar modelos de lenguaje grandes modificando funciones internas para eliminar por completo los comportamientos de rechazo mientras se preservan las funciones restantes del modelo. La palabra es un acrónimo que combina las palabras ablación y obliteración. Esta técnica ha ganado atención en el contexto de los modelos de lenguaje grandes desarrollados por organizaciones como OpenAI, Anthropic y Google DeepMind. Al identificar y eliminar los componentes específicos que desencadenan rechazos, los investigadores pueden crear modelos que respondan a una gama más amplia de indicaciones, aunque esto plantea preocupaciones éticas y de seguridad.
Relación con otros conceptos
La ablación está relacionada pero es distinta de otras técnicas de análisis de modelos. La ablación de características se refiere específicamente a eliminar características de entrada en lugar de componentes internos. La ablación también es similar al análisis de sensibilidad, pero se centra en la eliminación estructural en lugar de la perturbación de parámetros. En el contexto de la cognición y la inteligencia artificial, los estudios de ablación se han utilizado para probar teorías sobre cómo se organiza el conocimiento, como se ve en el trabajo sobre Soar. El concepto de degradación elegante es central, lo que significa que un sistema bien diseñado no debería fallar catastróficamente cuando se elimina una parte, lo cual es una propiedad deseable para una IA robusta.
Limitaciones
Los estudios de ablación tienen limitaciones. Eliminar un componente puede hacer que otros componentes compensen, lo que dificulta aislar la contribución real. Los resultados también dependen de la tarea específica y del conjunto de datos utilizado. En modelos complejos como los transformadores, las interacciones entre componentes pueden ser no lineales, por lo que el efecto de eliminar una parte puede no ser aditivo. A pesar de estos desafíos, la ablación sigue siendo una herramienta práctica y ampliamente utilizada en la investigación de IA.
Véase también
- Allen Newell
- Aprendizaje automático
- Red neuronal
- Aprendizaje profundo
- Transformador
- Modelo de lenguaje grande
- Reconocimiento de voz
- Detección de objetos
- Cognición
- Ablación de características
- Abandono
- Normalización por lotes
- Red residual
- Atención de múltiples cabezas
- Codificación posicional
- Funciones de pérdida