La teoría del aprendizaje estadístico es un marco para el aprendizaje automático que se basa en los campos de la estadística y el análisis funcional. Se ocupa del problema de inferencia estadística de encontrar una función predictiva basada en datos. La teoría ha dado lugar a aplicaciones exitosas en campos como la visión por computadora, el reconocimiento de voz y la bioinformática, y sustenta muchos algoritmos modernos de aprendizaje automático, incluidos los modelos de aprendizaje profundo y red neuronal.
La idea central es formalizar el aprendizaje como un problema de optimización: dado un conjunto de ejemplos de entrenamiento, seleccionar una función de un espacio de hipótesis predefinido que minimice una función de pérdida que mide el error de predicción. Debido a que la verdadera distribución de probabilidad subyacente es desconocida, la teoría se basa en la minimización del riesgo empírico y proporciona límites sobre el error de generalización de las funciones aprendidas.
Introducción
Los objetivos del aprendizaje son la comprensión y la predicción. El aprendizaje se divide en muchas categorías, incluido el aprendizaje supervisado, el aprendizaje no supervisado, el aprendizaje en línea y el aprendizaje por refuerzo. Desde la perspectiva de la teoría del aprendizaje estadístico, el aprendizaje supervisado es el más comprendido. El aprendizaje supervisado implica aprender de un conjunto de datos de entrenamiento. Cada punto en el conjunto de entrenamiento es un par entrada-salida, donde la entrada se asigna a una salida. El problema de aprendizaje consiste en inferir la función que mapea entre la entrada y la salida, de modo que la función aprendida pueda usarse para predecir la salida a partir de entradas futuras.
Dependiendo del tipo de salida, los problemas de aprendizaje supervisado son problemas de regresión o problemas de clasificación. Si la salida toma un rango continuo de valores, es un problema de regresión. Usando la ley de Ohm como ejemplo, se podría realizar una regresión con el voltaje como entrada y la corriente como salida. La regresión encontraría la relación funcional entre voltaje y corriente como R, de modo que V = IR. Los problemas de clasificación son aquellos para los cuales la salida será un elemento de un conjunto discreto de etiquetas. La clasificación es muy común en las aplicaciones de aprendizaje automático. En el reconocimiento facial, por ejemplo, la entrada sería una imagen del rostro de una persona, y la etiqueta de salida sería el nombre de esa persona. La entrada estaría representada por un gran vector multidimensional cuyos elementos representan píxeles en la imagen.
Después de aprender una función basada en los datos del conjunto de entrenamiento, esa función se valida en un conjunto de prueba de datos, datos que no aparecieron en el conjunto de entrenamiento.
Descripción Formal
Tome X como el espacio vectorial de todas las entradas posibles, e Y como el espacio vectorial de todas las salidas posibles. La teoría del aprendizaje estadístico adopta la perspectiva de que existe alguna distribución de probabilidad desconocida sobre el espacio producto Z = X × Y, es decir, existe alguna p(z) = p(x, y) desconocida. El conjunto de entrenamiento está compuesto por n muestras de esta distribución de probabilidad, y se denota como S = {(x1, y1), …, (xn, yn)} = {z1, …, zn}. Cada xi es un vector de entrada de los datos de entrenamiento, y yi es la salida que le corresponde.
En este formalismo, el problema de inferencia consiste en encontrar una función f: X → Y tal que f(x) ~ y. Sea H un espacio de funciones f: X → Y llamado espacio de hipótesis. El espacio de hipótesis es el espacio de funciones que el algoritmo buscará. Sea V(f(x), y) la función de pérdida, una métrica para la diferencia entre el valor predicho f(x) y el valor real y. El riesgo esperado se define como I[f] = ∫ V(f(x), y) p(x, y) dx dy. La función objetivo, la mejor función posible f que se puede elegir, está dada por la f que satisface f = argmin_{h ∈ H} I[h].
Debido a que la distribución de probabilidad p(x, y) es desconocida, se debe usar una medida proxy para el riesgo esperado. Esta medida se basa en el conjunto de entrenamiento, una muestra de esta distribución de probabilidad desconocida.
Minimización del Riesgo Empírico
El riesgo empírico se calcula como la pérdida promedio sobre el conjunto de entrenamiento: I_emp[f] = (1/n) Σ V(f(xi), yi). El principio de minimización del riesgo empírico (ERM) selecciona la función f que minimiza este riesgo empírico. Sin embargo, minimizar solo el riesgo empírico puede llevar al sobreajuste, donde la función funciona bien en los datos de entrenamiento pero mal en datos no vistos. Para abordar esto, la teoría del aprendizaje estadístico introduce conceptos como la regularización y el control de capacidad.
La regularización agrega un término de penalización al riesgo empírico para desalentar funciones excesivamente complejas. Las medidas de capacidad, como la dimensión de Vapnik-Chervonenkis (VC), cuantifican la complejidad del espacio de hipótesis. La dimensión VC es un concepto fundamental en la teoría del aprendizaje estadístico, que proporciona una medida del conjunto más grande de puntos que pueden ser destrozados por el espacio de hipótesis. Los límites sobre el error de generalización a menudo dependen de la dimensión VC y del número de muestras de entrenamiento.
Límites de Generalización
Un resultado central en la teoría del aprendizaje estadístico es que, con alta probabilidad, el riesgo esperado de una función aprendida está limitado por su riesgo empírico más un término que crece con la complejidad del espacio de hipótesis y disminuye con el número de muestras de entrenamiento. Formalmente, para un espacio de hipótesis con dimensión VC d, con probabilidad al menos 1 - δ, para todo f en H, se cumple el siguiente límite: I[f] ≤ I_emp[f] + O(√(d/n) + √(log(1/δ)/n)). Este límite ilustra el equilibrio entre el subajuste y el sobreajuste: un espacio de hipótesis más grande puede reducir el riesgo empírico pero aumenta la penalización por complejidad.
Estos límites motivan el principio de minimización del riesgo estructural, que equilibra el riesgo empírico y la complejidad del modelo al elegir un espacio de hipótesis que minimice el límite. Este principio ha influido en el diseño de muchos algoritmos de aprendizaje automático, incluidas las máquinas de vectores de soporte.
Aplicaciones e Influencia
La teoría del aprendizaje estadístico ha tenido un impacto profundo en el desarrollo del aprendizaje automático. Proporciona una base teórica para comprender por qué los algoritmos generalizan, y ha guiado el diseño de algoritmos como las máquinas de vectores de soporte y las técnicas de regularización. Los principios de minimización del riesgo empírico y control de capacidad están integrados en los marcos modernos de aprendizaje profundo, donde técnicas como abandono y normalización por lotes pueden verse como formas de regularización.
La teoría también informa el análisis de modelos de red neuronal, incluidas las arquitecturas de transformador utilizadas en modelos de lenguaje grande. Investigadores en instituciones como el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT y el Laboratorio de IA de Stanford continúan construyendo sobre estos fundamentos para abordar desafíos en IA generativa y otras áreas.
En la práctica, la teoría del aprendizaje estadístico se ha aplicado a la visión por computadora, el reconocimiento de voz y la bioinformática, entre otros campos. Sus principios también son relevantes para el desarrollo de sistemas de hardware y software, como los de Google DeepMind y OpenAI, que dependen de algoritmos de aprendizaje robustos.
Véase También
- aprendizaje automático
- aprendizaje profundo
- red neuronal
- aprendizaje supervisado
- minimización-del-riesgo-empírico
- dimensión-vc