El aprendizaje basado en explicaciones (EBL, por sus siglas en inglés) es una forma de aprendizaje automático que aprovecha una teoría de dominio muy fuerte, o incluso perfecta - una teoría formal de un dominio de aplicación, similar a un modelo de dominio en ingeniería de ontologías - para hacer generalizaciones o formar conceptos a partir de ejemplos de entrenamiento. A diferencia de los métodos empíricos que requieren muchos ejemplos, el EBL puede generalizar a partir de un solo ejemplo utilizando la teoría de dominio para explicar por qué el ejemplo es un miembro de un concepto. Esta explicación se compila luego en una regla reutilizable, o macro, que acelera el razonamiento futuro. El EBL también está vinculado con la codificación en la memoria para ayudar al aprendizaje, ya que las generalizaciones derivadas se almacenan para una recuperación eficiente.
El enfoque se fundamenta en la idea de que una teoría de dominio completa contiene, en principio, toda la información necesaria para decidir cualquier cuestión sobre el dominio. Por ejemplo, las reglas del ajedrez forman una teoría de dominio perfecta para el ajedrez, permitiendo deducir la mejor jugada en cualquier posición, aunque en la práctica esto sea intratable debido a la explosión combinatoria. El EBL utiliza ejemplos de entrenamiento para guiar la búsqueda de consecuencias deductivas, haciendo que el proceso sea eficiente en la práctica.
Formulación básica
Un sistema EBL toma cuatro entradas: un espacio de hipótesis (el conjunto de todas las conclusiones posibles), una teoría de dominio (axiomas sobre el dominio de interés), ejemplos de entrenamiento (hechos específicos que descartan algunas hipótesis) y criterios de operatividad (criterios para determinar qué características son reconocibles de manera eficiente, como aquellas detectables directamente por sensores). El sistema funciona encontrando una prueba corta de cada ejemplo de entrenamiento a partir de la teoría de dominio, y luego generalizando esa prueba en una regla que pueda aplicarse rápidamente para clasificar ejemplos similares futuros. Este proceso extiende la base de datos de la teoría de dominio, permitiendo una clasificación más rápida de instancias relacionadas.
El principal inconveniente del EBL es el problema de utilidad, analizado por primera vez por Minton: a medida que crece el número de macros de prueba aprendidas, el costo de aplicarlas puede superar sus beneficios. Este problema ha impulsado refinamientos en cómo se seleccionan y utilizan las reglas aprendidas.
Aplicación en el procesamiento del lenguaje natural
Un dominio de aplicación especialmente bueno para el EBL es el procesamiento del lenguaje natural (PLN). Aquí, una teoría de dominio rica - como una gramática del lenguaje natural - no es ni perfecta ni completa, pero puede ajustarse a una aplicación o uso del lenguaje particular utilizando un árbol de análisis como ejemplos de entrenamiento. Rayner fue pionero en este trabajo, y la primera aplicación industrial exitosa fue en una interfaz de lenguaje natural comercial para bases de datos relacionales. El método se ha aplicado con éxito a varios sistemas de análisis sintáctico de lenguaje natural a gran escala, donde el problema de utilidad se resolvió omitiendo la gramática original (teoría de dominio) y utilizando técnicas especializadas de análisis LR, lo que resultó en grandes aceleraciones a costa de una cobertura reducida pero con una ganancia en desambiguación.
Al aplicar EBL al PLN, los criterios de operatividad pueden ser elaborados manualmente o inferidos del árbol de análisis utilizando ya sea la entropía de sus nodos "o" o un objetivo de equilibrio entre cobertura y desambiguación (equivalente al equilibrio entre precisión y recuperación o puntuación F). El EBL también puede usarse para compilar modelos de lenguaje basados en gramáticas para el reconocimiento de voz a partir de gramáticas de unificación generales. El problema de utilidad se resolvió descartando la gramática original, y los artículos citados tienden a contener la frase "especialización de gramática" - bastante opuesta al término original "generalización basada en explicaciones". Quizás el mejor nombre para esta técnica sería reducción del espacio de búsqueda guiada por datos.
Otros investigadores que trabajaron en EBL para PLN incluyen a Guenther Neumann, Aravind Joshi, Srinivas Bangalore y Khalil Sima'an. Técnicas similares al EBL también se han aplicado a la generación superficial, el proceso inverso del análisis sintáctico.
Relación con otros paradigmas de aprendizaje
El EBL contrasta con los métodos de aprendizaje empíricos o inductivos, como los utilizados en aprendizaje automático y aprendizaje profundo, que requieren grandes conjuntos de datos para generalizar. Mientras que los enfoques de redes neuronales como los modelos transformadores en sistemas de modelos de lenguaje grandes aprenden patrones estadísticos de corpus masivos, el EBL aprovecha el conocimiento simbólico explícito. Esto hace que el EBL sea particularmente adecuado para dominios donde existe una teoría fuerte pero los datos son escasos. Sin embargo, la dependencia del EBL en una teoría de dominio perfecta o casi perfecta limita su aplicabilidad a dominios bien comprendidos, mientras que los métodos estadísticos pueden manejar problemas ruidosos o poco comprendidos.
En visión por computadora, el EBL está relacionado con el aprendizaje de una sola muestra, donde un modelo aprende de un solo ejemplo, pero el EBL requiere una teoría de dominio para explicar el ejemplo, mientras que el aprendizaje de una sola muestra a menudo utiliza conocimiento previo de tareas relacionadas. El aprendizaje de cero muestras, que clasifica categorías no vistas sin ejemplos, también comparte similitudes conceptuales, pero típicamente utiliza incrustaciones semánticas en lugar de pruebas deductivas.
Limitaciones y extensiones
La limitación principal del EBL es el problema de utilidad, donde la sobrecarga de almacenar y emparejar reglas aprendidas puede degradar el rendimiento. El análisis de Minton mostró que el costo de aplicar macros de prueba aprendidas puede volverse prohibitivo a medida que se acumulan. Las soluciones incluyen la retención selectiva de reglas útiles, como se ve en aplicaciones de PLN que descartan la gramática original. Las extensiones del EBL han explorado su combinación con métodos inductivos, como el uso de EBL para guiar la búsqueda en aprendizaje curricular o para refinar estrategias de aumento de datos. En la investigación de inteligencia artificial, el EBL ha influido en el trabajo sobre generalización basada en explicaciones en planificación y diagnóstico, aunque los sistemas modernos de IA generativa dependen principalmente del aprendizaje estadístico.
Véase también
- Aprendizaje de una sola muestra en visión por computadora
- Aprendizaje de cero muestras
- Aprendizaje automático
- Inteligencia artificial