El análisis de componentes principales (PCA) es una técnica de reducción de dimensionalidad lineal que transforma un conjunto de datos de variables posiblemente correlacionadas en un número menor de variables no correlacionadas llamadas componentes principales. El método identifica las direcciones de máxima varianza en los datos y proyecta las observaciones originales sobre estas direcciones, produciendo una representación de menor dimensión que retiene tanta información como sea posible. El PCA es una de las herramientas más utilizadas en aprendizaje automático para el análisis exploratorio de datos, la ingeniería de características y el preprocesamiento, y también sirve como concepto fundacional en campos que van desde la genética hasta las finanzas.
La técnica fue introducida por primera vez por Karl Pearson en 1901 y desarrollada posteriormente de forma independiente por Harold Hotelling en 1933. Matemáticamente equivale a realizar una descomposición en valores singulares (SVD) sobre la matriz de datos centrada, lo que la hace computacionalmente eficiente y numéricamente estable. El PCA no requiere datos etiquetados, lo que lo convierte en un método no supervisado, y asume que las direcciones de mayor varianza son las más informativas, lo cual se cumple en muchos conjuntos de datos del mundo real.
Formulación matemática
Dada una matriz de datos X con n observaciones y p variables, el PCA comienza centrando cada variable para que tenga media cero. Se calcula la matriz de covarianza de los datos centrados y se obtienen sus vectores propios y valores propios. Los vectores propios, ordenados por valor propio decreciente, definen los ejes de los componentes principales, mientras que los valores propios indican la cantidad de varianza explicada por cada componente. El primer componente principal captura la mayor varianza posible, el segundo captura la siguiente mayor bajo la restricción de ser ortogonal al primero, y así sucesivamente.
La proyección de los datos sobre los primeros k componentes principales produce una representación de dimensión k. La proporción de la varianza total explicada por los primeros k componentes es la suma de sus valores propios dividida por la suma total de todos los valores propios. Esta cantidad guía la elección de k, a menudo mediante un gráfico de sedimentación o un umbral como la retención del 95% de la varianza.
Aplicaciones en el aprendizaje automático
En los flujos de trabajo de aprendizaje automático, el PCA se utiliza con frecuencia para reducir el número de características antes de entrenar un modelo. Los conjuntos de datos de alta dimensión pueden sufrir la maldición de la dimensionalidad, lo que conduce a un sobreajuste y a un mayor coste computacional. Al proyectar los datos sobre un subespacio de menor dimensión, el PCA puede mejorar la generalización del modelo y acelerar el entrenamiento. Es especialmente común en campos como el procesamiento de imágenes, donde las intensidades de píxeles brutas están altamente correlacionadas, y en genómica, donde se miden simultáneamente los niveles de expresión de miles de genes.
El PCA también sirve como herramienta de visualización. Proyectar los datos sobre los primeros dos o tres componentes principales permite a los investigadores representar datos de alta dimensión en dos o tres dimensiones, revelando agrupaciones, valores atípicos u otras estructuras. Esto se utiliza a menudo en el análisis exploratorio antes de aplicar métodos más complejos como los clasificadores de redes neuronales.
Otra aplicación es la reducción de ruido. Al descartar los componentes con los valores propios más pequeños, el PCA filtra las direcciones que se asumen que contienen principalmente ruido, reteniendo el subespacio dominado por la señal. Este principio subyace a técnicas como las eigenfaces para el reconocimiento facial, donde el PCA se aplicó de forma célebre en los años 1990.
Relación con otras técnicas
El PCA está estrechamente relacionado con el análisis factorial, pero ambos difieren en sus objetivos: el PCA busca explicar la varianza en los datos, mientras que el análisis factorial modela la estructura de covarianza mediante factores latentes. El PCA es también un caso especial del escalado multidimensional (MDS) cuando la medida de disimilitud es la distancia euclidiana. En el contexto del aprendizaje profundo, el PCA se utiliza a veces como paso de preprocesamiento para las entradas de redes neuronales, aunque los métodos modernos suelen depender de representaciones aprendidas.
El PCA kernel extiende el método a variedades no lineales aplicando una función kernel antes de calcular los componentes principales, lo que permite capturar estructuras no lineales. El PCA disperso y el PCA robusto son variantes que imponen esparsidad o manejan valores atípicos, respectivamente. Estas extensiones han encontrado uso en el procesamiento de señales y la visión por computador.
Limitaciones y consideraciones
El PCA asume linealidad, lo que significa que solo puede capturar relaciones lineales entre variables. Para datos que se encuentran en variedades no lineales, el PCA puede producir resultados engañosos, y métodos como t-SNE o UMAP suelen preferirse para la visualización. El PCA también es sensible a la escala de las variables; sin estandarización, las variables con mayor varianza dominan los componentes. Por lo tanto, es práctica común estandarizar cada variable a varianza unitaria antes de aplicar el PCA.
La interpretabilidad de los componentes principales puede ser un desafío, ya que cada componente es una combinación lineal de todas las variables originales. Esto dificulta asignar un significado físico a los componentes en algunas aplicaciones. Además, el PCA es un método no supervisado y no considera las etiquetas de clase, por lo que puede descartar direcciones que son importantes para la clasificación pero que tienen baja varianza.
Contexto histórico y moderno
El PCA ha sido redescubierto de forma independiente en diversos campos, incluidos la meteorología (como funciones ortogonales empíricas) y la ecología. Sus fundamentos matemáticos se establecieron a principios del siglo XX, y la llegada de los ordenadores en los años 1950 permitió su aplicación práctica a grandes conjuntos de datos. Hoy en día, el PCA sigue siendo una herramienta estándar en el arsenal de los científicos de datos y está implementado en todas las principales bibliotecas de aprendizaje automático y estadística, incluidas scikit-learn, R y MATLAB.
En la era de la inteligencia artificial a gran escala, el PCA se sigue utilizando para tareas como el blanqueamiento en modelos de aprendizaje profundo y para comprimir embeddings en flujos de trabajo de modelos de lenguaje grandes. Su simplicidad, interpretabilidad y eficiencia computacional aseguran su relevancia continua a pesar de la disponibilidad de métodos no lineales más complejos.