El aprendizaje profundo es una rama del aprendizaje automático que utiliza redes neuronales artificiales con muchas capas apiladas para aprender representaciones jerárquicas directamente de datos brutos, como píxeles, formas de onda de audio o texto, sin requerir características diseñadas manualmente. La palabra "profundo" se refiere al número de capas entre la entrada y la salida, con sistemas que típicamente tienen una profundidad de ruta de asignación de crédito (CAP) mayor que dos. El aprendizaje profundo puede ser supervisado, semisupervisado o no supervisado, y se inspira en el funcionamiento del cerebro biológico, pero no pretende modelarlo.
Historia
Los fundamentos matemáticos del aprendizaje profundo se remontan a la década de 1980, cuando retropropagación se popularizó como una forma de entrenar redes multicapa. El progreso se estancó durante las décadas de 1990 y 2000 debido a datos limitados, cómputo limitado y la competencia de otros métodos estadísticos, un período a veces descrito como parte de un invierno de IA más amplio específicamente para los enfoques conexionistas. La era moderna del campo suele fecharse en 2012, cuando AlexNet, una red neuronal convolucional profunda entrenada en unidades de procesamiento gráfico, ganó la competencia ImageNet por un amplio margen sobre métodos basados en características diseñadas a mano. Los investigadores Geoffrey Hinton, Yann LeCun y Yoshua Bengio, más tarde llamados el trío fundador del campo, recibieron el Premio Turing 2018 por sentar sus bases; Hinton y el físico John Hopfield compartieron el Premio Nobel de Física 2024 por trabajos fundamentales relacionados.
El término "aprendizaje profundo" fue introducido en la comunidad de aprendizaje automático por Rina Dechter en 1986, y en redes neuronales artificiales por Igor Aizenberg y colegas en 2000 en el contexto de neuronas de umbral booleano.
Arquitectura
El éxito temprano del aprendizaje profundo provino de redes convolucionales para imágenes y redes neuronales recurrentes, incluida la variante LSTM, para datos secuenciales como texto y habla. Las arquitecturas comunes también incluyen redes totalmente conectadas, redes de creencia profunda, redes generativas adversariales (GAN), transformadores y campos de radiancia neuronal. La introducción en 2017 de la arquitectura transformador, que procesa secuencias en paralelo usando mecanismos de atención en lugar de recurrencia paso a paso, desplazó en gran medida a las redes recurrentes para tareas de lenguaje y se convirtió en la base de los modelos de lenguaje grandes modernos. Las redes se entrenan minimizando una función de pérdida mediante variantes de descenso de gradiente, con retropropagación utilizada para calcular cómo debería cambiar cada parámetro. Los modelos de aprendizaje profundo pueden construirse con un método codicioso capa por capa y pueden aplicarse a tareas de aprendizaje no supervisado.
Por qué funciona a escala
Las redes profundas se benefician desproporcionadamente de más datos y más cómputo en comparación con métodos estadísticos anteriores, una relación formalizada más tarde como leyes de escalado. Este comportamiento de escalado, combinado con la capacidad de procesamiento paralelo del hardware GPU originalmente construido para renderizado gráfico, permitió a los profesionales entrenar modelos cada vez más grandes durante las décadas de 2010 y 2020. El dominio de Nvidia en GPU capaces de IA y su plataforma de software CUDA se convirtieron en una pieza central de la infraestructura industrial como resultado.
Interpretaciones
Las redes neuronales profundas generalmente se interpretan en términos del teorema de aproximación universal o inferencia probabilística. El teorema clásico de aproximación universal establece que las redes feedforward con una sola capa oculta de tamaño finito pueden aproximar funciones continuas; la primera prueba fue publicada por George Cybenko en 1989 para activaciones sigmoideas y generalizada a arquitecturas multicapa por Kurt Hornik en 1991. Trabajos recientes extendieron la aproximación universal a activaciones no acotadas como la unidad lineal rectificada. La interpretación probabilística, que considera las no linealidades de activación como funciones de distribución acumulativa, llevó a la introducción del dropout como regularizador.
Impacto y críticas
El aprendizaje profundo impulsó un progreso rápido en visión por computadora, reconocimiento de habla, traducción automática, procesamiento de lenguaje natural y, de manera más visible para el público, en generación de texto e imágenes. El campo también se ha aplicado a bioinformática, diseño de fármacos, análisis de imágenes médicas, ciencia climática, inspección de materiales y programas de juegos de mesa, donde los resultados han igualado o superado el rendimiento de expertos humanos en algunos casos. Los críticos señalan que las redes profundas siguen siendo en gran medida opacas, funcionan como emparejadores estadísticos de patrones cuyos fallos pueden ser difíciles de predecir, y requieren enormes recursos de energía y datos, lo que plantea preocupaciones tanto ambientales como de derechos de autor. Los defensores contraargumentan que la misma receta de escalado ha producido repetidamente capacidades que no fueron diseñadas explícitamente, un patrón central en los debates en curso sobre la trayectoria del campo hacia una inteligencia más general.
Desarrollos recientes
En la década de 2020, los modelos de lenguaje grandes basados en la arquitectura del transformador, como GPT y las bibliotecas Hugging Face Transformers, se convirtieron en productos convencionales. El aprendizaje profundo también se expandió a modelos generativos como GAN y modelos de difusión para síntesis de imágenes, y campos de radiancia neuronal para reconstrucción de escenas 3D. Los avances en aprendizaje de representaciones y aprendizaje no supervisado continúan reduciendo la dependencia de datos etiquetados. El campo sigue siendo un foco de intensa investigación y debate público, con esfuerzos continuos para mejorar la interpretabilidad, la eficiencia y la alineación con los valores humanos.