El aprendizaje de representaciones, también conocido como aprendizaje de características, es un conjunto de técnicas en el aprendizaje automático que permiten a un sistema descubrir automáticamente las representaciones necesarias para la detección o clasificación de características a partir de datos brutos. Esto reemplaza la ingeniería de características manual y permite que una máquina aprenda las características y las utilice para realizar una tarea específica. La motivación es que muchas tareas de aprendizaje automático, como la clasificación, requieren una entrada que sea matemática y computacionalmente conveniente de procesar, pero los datos del mundo real, como imágenes, video y datos de sensores, no se prestan a características definidas algorítmicamente. En cambio, las representaciones se descubren mediante el examen de los datos, sin depender de algoritmos explícitos.
El aprendizaje de características puede ser supervisado, no supervisado o autosupervisado. En el aprendizaje de características supervisado, las características se aprenden utilizando datos etiquetados, donde cada entrada tiene una etiqueta de verdad fundamental. En el aprendizaje de características no supervisado, las características se aprenden a partir de datos no etiquetados mediante el análisis de las relaciones entre los puntos de datos. En el aprendizaje de características autosupervisado, los pares entrada-etiqueta se construyen a partir de cada punto de datos, lo que permite el aprendizaje mediante métodos supervisados como el descenso de gradiente, como se observa en los vectores de palabras y los autoencoders.
Aprendizaje de características supervisado
El aprendizaje de características supervisado utiliza datos etiquetados para calcular un término de error, que mide el grado en que el sistema no produce la etiqueta correcta. Este error sirve como retroalimentación para ajustar el proceso de aprendizaje. Los enfoques incluyen el aprendizaje de diccionarios supervisado y las redes neuronales.
Aprendizaje de diccionarios supervisado
El aprendizaje de diccionarios desarrolla un conjunto de elementos representativos, o un diccionario, a partir de los datos de entrada, de modo que cada punto de datos pueda representarse como una suma ponderada de estos elementos. El diccionario y los pesos se encuentran minimizando el error de representación promedio, a menudo con regularización L1 para fomentar la escasez. En el aprendizaje de diccionarios supervisado, tanto la estructura de los datos como las etiquetas se utilizan para optimizar el diccionario. Para la clasificación, la función objetivo incluye el error de clasificación, el error de representación, la regularización L1 sobre los pesos y la regularización L2 sobre los parámetros del clasificador.
Redes neuronales
Las redes neuronales son una familia de algoritmos de aprendizaje inspirados en el sistema nervioso animal, que consisten en capas de nodos interconectados (neuronas) y conexiones (sinapsis) con pesos asociados. La red define reglas computacionales para pasar los datos de entrada desde la capa de entrada hasta la capa de salida. Las redes neuronales multicapa aprenden representaciones en las capas ocultas, que luego se utilizan para la clasificación o regresión en la capa de salida. Una arquitectura notable es la red siamesa, que aprende a comparar entradas compartiendo pesos.
Aprendizaje de características no supervisado
El aprendizaje de características no supervisado descubre características de baja dimensión que capturan la estructura de datos de alta dimensión, sin necesidad de etiquetas. Estas características pueden utilizarse posteriormente de manera semisupervisada para mejorar tareas supervisadas. Los métodos comunes incluyen el agrupamiento k-means y el análisis de componentes principales.
Agrupamiento k-means
El agrupamiento k-means agrupa n vectores en k grupos, asignando cada vector al grupo cuyo centroide (media) sea más cercano. El problema es NP-difícil, pero existen algoritmos voraces. En el aprendizaje de características, k-means puede producir características añadiendo indicadores binarios para el centroide más cercano o utilizando distancias a los centroides, posiblemente transformadas mediante una función de base radial. Investigaciones de Coates y Ng encontraron que ciertas variantes de k-means se comportan de manera similar a la codificación dispersa. En una evaluación comparativa, Coates, Lee y Ng descubrieron que k-means con la transformación adecuada superaba a los autoencoders y a las máquinas de Boltzmann restringidas en la clasificación de imágenes. K-means también mejora el reconocimiento de entidades nombradas en el procesamiento del lenguaje natural, compitiendo con el agrupamiento de Brown y los vectores de palabras neuronales.
Análisis de componentes principales
El análisis de componentes principales (PCA) es una técnica de reducción de dimensionalidad que genera p vectores singulares derechos correspondientes a los p valores singulares más grandes de la matriz de datos. Estos vectores definen un subespacio de menor dimensión que captura la mayor varianza, proporcionando una representación compacta para tareas posteriores.
Aprendizaje de características autosupervisado
El aprendizaje de características autosupervisado construye pares entrada-etiqueta a partir de datos no etiquetados, lo que permite que métodos de entrenamiento supervisado aprendan la estructura de los datos. Ejemplos clásicos incluyen los vectores de palabras y los autoencoders. Los vectores de palabras, como los utilizados en los modelos de lenguaje grandes, asignan palabras a vectores densos que capturan relaciones semánticas. Los autoencoders aprenden a reconstruir su entrada a través de un cuello de botella, lo que obliga a la red a aprender representaciones eficientes. El aprendizaje autosupervisado se ha aplicado a muchas modalidades utilizando arquitecturas profundas como las redes neuronales convolucionales y los transformadores.
Aplicaciones e impacto
El aprendizaje de representaciones es fundamental para el aprendizaje profundo y la inteligencia artificial generativa. Permite que los sistemas aprendan características directamente de los datos brutos, reduciendo la necesidad de ingeniería de características manual. Esto ha llevado a avances en visión por computadora, procesamiento del lenguaje natural y reconocimiento de voz. En la inteligencia artificial, el aprendizaje de representaciones sustenta muchos modelos de vanguardia, incluidos los desarrollados por organizaciones como OpenAI, Google DeepMind y Anthropic. La capacidad de aprender representaciones útiles automáticamente es un factor clave en el éxito de las redes neuronales y ha impulsado avances en campos que van desde la atención médica hasta la conducción autónoma.
Desafíos y direcciones futuras
A pesar de sus éxitos, el aprendizaje de representaciones enfrenta desafíos como la interpretabilidad, la eficiencia de datos y la generalización. Las representaciones aprendidas suelen ser difíciles de interpretar, y los modelos pueden requerir grandes cantidades de datos. Los investigadores están explorando formas de hacer que las representaciones sean más robustas y transferibles entre tareas. A principios de la década de 2020, el aprendizaje autosupervisado y el aprendizaje multimodal son áreas de investigación activa, con potencial para reducir aún más la dependencia de datos etiquetados y mejorar el rendimiento en diversas tareas.