Boosting es un método de aprendizaje por conjuntos en el Machine learning que combina un conjunto de modelos menos precisos, llamados aprendices débiles, para crear un único modelo altamente preciso, conocido como aprendiz fuerte. A diferencia de los métodos de conjuntos paralelos como el bagging, los algoritmos de boosting construyen modelos de forma secuencial. Cada nuevo modelo en la secuencia se entrena para corregir los errores cometidos por sus predecesores. Este proceso iterativo mejora la precisión general, particularmente al reducir el sesgo. El boosting es una técnica popular y efectiva utilizada en el aprendizaje supervisado tanto para tareas de clasificación como de regresión.
La base teórica del boosting provino de una pregunta planteada por Kearns y Valiant en 1988 y 1989: si un conjunto de aprendices débiles puede crear un único aprendiz fuerte. Un aprendiz débil se define como un clasificador que se desempeña solo ligeramente mejor que una suposición aleatoria, mientras que un aprendiz fuerte está altamente correlacionado con la clasificación verdadera. La respuesta afirmativa de Robert Schapire en un artículo de 1990 condujo al desarrollo de algoritmos prácticos de boosting. El primer algoritmo de este tipo fue desarrollado por Schapire, y Freund y Schapire desarrollaron posteriormente AdaBoost, que sigue siendo un ejemplo fundamental del boosting.
Mecanismo Central
Aunque el boosting no está restringido algorítmicamente, la mayoría de los algoritmos de boosting consisten en aprender iterativamente clasificadores débiles con respecto a una distribución y añadirlos a un clasificador fuerte final. Al añadirlos, se ponderan de una manera relacionada con la precisión de los aprendices débiles. Después de añadir un aprendiz débil, los pesos de los datos se reajustan, un proceso conocido como re-ponderación. Los datos de entrada mal clasificados ganan un mayor peso, mientras que los ejemplos clasificados correctamente pierden peso. Así, los futuros aprendices débiles se centran más en los ejemplos que los aprendices débiles anteriores clasificaron erróneamente.
Este enfoque secuencial en ejemplos difíciles distingue al boosting de otros métodos de conjuntos. El mecanismo de re-ponderación asegura que cada modelo posterior en la secuencia aborde los errores residuales del conjunto combinado. A lo largo de muchas rondas, el conjunto reduce progresivamente su sesgo de entrenamiento, logrando a menudo una alta precisión incluso cuando los aprendices débiles individuales son solo marginalmente mejores que una suposición aleatoria.
Desarrollo Histórico
Hay muchos algoritmos de boosting. Los originales, propuestos por Robert Schapire (una formulación de puerta de mayoría recursiva) y Yoav Freund (boost por mayoría), no eran adaptativos y no podían aprovechar completamente a los aprendices débiles. Schapire y Freund desarrollaron entonces AdaBoost, un algoritmo de boosting adaptativo que ganó el prestigioso Premio Gödel. AdaBoost fue el primer algoritmo que pudo adaptarse a los aprendices débiles, lo que lo hace históricamente significativo y a menudo la base de la cobertura introductoria del boosting en cursos universitarios de aprendizaje automático.
Solo los algoritmos que son algoritmos de boosting demostrables en la formulación de aprendizaje probablemente aproximadamente correcto pueden llamarse con precisión algoritmos de boosting. Otros algoritmos similares en espíritu a veces se denominan algoritmos de apalancamiento, aunque también se les llama incorrectamente algoritmos de boosting. La principal variación entre muchos algoritmos de boosting es su método de ponderación de los puntos de datos de entrenamiento y las hipótesis.
Algoritmos Principales
AdaBoost sigue siendo el más significativo históricamente, pero se han desarrollado muchos algoritmos más recientes. Estos incluyen LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost y CatBoost, entre otros. Muchos algoritmos de boosting se ajustan al marco AnyBoost, que muestra que el boosting realiza un descenso de gradiente en un espacio de funciones utilizando una función de costo convexa.
Implementaciones modernas como xgboost y CatBoost se han vuelto ampliamente utilizadas en la industria y en el aprendizaje automático competitivo debido a su escalabilidad y rendimiento. Estos algoritmos incorporan regularización, aprendices débiles basados en árboles eficientes y optimizaciones para datos dispersos y características categóricas. Se aplican comúnmente en dominios que van desde las finanzas hasta la atención médica, superando a menudo a otros métodos en datos tabulares.
Categorización de Objetos en Visión por Computadora
Dadas imágenes que contienen varios objetos conocidos en el mundo, se puede aprender un clasificador a partir de ellas para clasificar automáticamente los objetos en imágenes futuras. Los clasificadores simples construidos basados en alguna característica de imagen del objeto tienden a ser débiles en el rendimiento de categorización. Usar métodos de boosting para la categorización de objetos es una forma de unificar los clasificadores débiles de una manera especial para aumentar la capacidad general de categorización.
Problema de la Categorización de Objetos
La categorización de objetos es una tarea típica de la Artificial intelligence y la visión por computadora que implica determinar si una imagen contiene una categoría específica de objeto. La idea está estrechamente relacionada con el reconocimiento, la identificación y la detección. La categorización de objetos basada en apariencia típicamente incluye extracción de características, aprendizaje de un clasificador y aplicación del clasificador a nuevos ejemplos. Hay muchas formas de representar una categoría de objetos, desde el análisis de formas, modelos de bolsa de palabras o descriptores locales como SIFT. Ejemplos de clasificadores supervisados son los clasificadores Naive Bayes, las máquinas de vectores de soporte, las mezclas de gaussianas y las redes neuronales. Sin embargo, la investigación ha mostrado que las categorías de objetos y sus ubicaciones en las imágenes también pueden descubrirse de manera no supervisada.
Estado Actual de la Categorización de Objetos
El reconocimiento de categorías de objetos en imágenes es un problema desafiante en visión por computadora, especialmente cuando el número de categorías es grande. Esto se debe a la alta variabilidad intra-clase y a la necesidad de generalización a través de variaciones de objetos dentro de la misma categoría. Los objetos dentro de una categoría pueden verse bastante diferentes. Incluso el mismo objeto puede parecer distinto bajo diferentes puntos de vista, escalas e iluminación. El desorden de fondo y la oclusión parcial añaden dificultades al reconocimiento también. Los humanos son capaces de reconocer miles de tipos de objetos, mientras que la mayoría de los sistemas de reconocimiento de objetos existentes se entrenan para reconocer solo unos pocos, como rostros humanos, automóviles u objetos simples. La investigación ha sido muy activa en tratar con más categorías y permitir adiciones incrementales de nuevas categorías. Aunque el problema general sigue sin resolverse, se han desarrollado varios detectores de objetos de múltiples categorías (para hasta cientos o miles de categorías), en parte mediante el intercambio de características y el boosting.
Boosting para Categorización Binaria
AdaBoost puede usarse para la detección de rostros como un ejemplo de categorización binaria. Las dos categorías son rostros versus fondo. El algoritmo general es el siguiente: formar un gran conjunto de características simples; inicializar pesos para las imágenes de entrenamiento; durante T rondas, normalizar los pesos, entrenar un clasificador usando una sola característica del conjunto disponible, evaluar el error de entrenamiento, elegir el clasificador con el menor error y actualizar los pesos de las imágenes de entrenamiento (aumentar si se clasificaron incorrectamente, disminuir si correctamente); finalmente, formar el clasificador fuerte como la combinación lineal de los T clasificadores, con coeficientes más grandes para clasificadores con menor error de entrenamiento. Después del boosting, un clasificador construido a partir de 200 características podría producir una tasa de detección del 95 por ciento bajo una tasa de falsos positivos de 10 a la menos 5.
Otra aplicación del boosting para categorización binaria es un sistema que detecta peatones utilizando patrones de movimiento y apariencia. Este trabajo fue el primero en combinar tanto información de movimiento como información de apariencia como características para detectar a una persona caminando. Toma un enfoque similar al marco de detección de objetos Viola-Jones.
Boosting para Categorización Multi-Clase
En comparación con la categorización binaria, la categorización multi-clase implica asignar una imagen a una de varias categorías posibles de objetos. Los métodos de boosting para problemas multi-clase típicamente extienden los enfoques binarios a través de estrategias como la descomposición uno-contra-todos o uno-contra-uno, o modificando directamente el algoritmo de boosting para manejar múltiples clases. Estos métodos han permitido que los sistemas de detección de objetos reconozcan cientos o miles de categorías, aunque con un mayor costo computacional y complejidad.
Aplicaciones e Impacto
El boosting se ha aplicado en muchos dominios más allá de la visión por computadora. En contextos de Deep learning, las ideas de boosting han influido en técnicas de conjuntos y optimización basada en gradientes. En el procesamiento del lenguaje natural, el boosting se ha utilizado para la clasificación de texto y el análisis de sentimientos. En finanzas, se usa para la puntuación de crédito y la detección de fraude. En bioinformática, el boosting ayuda con la clasificación de expresión génica y la predicción de funciones de proteínas. La capacidad del método para combinar modelos simples en predictores altamente precisos lo ha convertido en un pilar tanto de la investigación académica como de la práctica industrial.
Significado Teórico
El significado teórico del boosting radica en su demostración de que la aprendibilidad débil implica la aprendibilidad fuerte. Este resultado, probado por Schapire en 1990, respondió a la pregunta planteada por Kearns y Valiant y estableció una base para comprender el poder de los métodos de conjuntos. El marco de aprendizaje probablemente aproximadamente correcto proporciona garantías formales para los algoritmos de boosting, asegurando que con suficientes aprendices débiles, el conjunto puede lograr un error arbitrariamente bajo en la distribución de entrenamiento. Esta base teórica distingue al boosting de muchos métodos de conjuntos heurísticos y ha inspirado una extensa investigación sobre las condiciones bajo las cuales el boosting tiene éxito.
Limitaciones y Consideraciones
El boosting no está exento de limitaciones. Puede ser sensible a datos ruidosos y valores atípicos, ya que el mecanismo de re-ponderación puede hacer que el conjunto se sobreajuste a ejemplos mal etiquetados. La naturaleza secuencial del boosting también lo hace menos adecuado para la paralelización que el bagging, aunque las implementaciones modernas han introducido aproximaciones para acelerar el entrenamiento. Además, la elección del aprendiz débil y el número de rondas pueden afectar significativamente el rendimiento, requiriendo un ajuste cuidadoso. A pesar de estos desafíos, el boosting sigue siendo una de las técnicas más efectivas y ampliamente utilizadas en el aprendizaje supervisado.