A validação cruzada, às vezes chamada de estimação por rotação ou teste fora da mostra, é uma família de técnicas de validação de modelos para avaliar como os resultados de uma análise estatística generalizarão a um conjunto de dados independente. É um método de reamostragem que usa diferentes porções dos dados para treinar e testar um modelo em diferentes iterações. A validação cruzada é comumente usada em contextos de predição para estimar com que precisão um modelo preditivo terá desempeño na prática, e também pode avaliar a qualidade de um modelo ajustado e a estabilidad de seus parâmetros.
Em um problema de predição típico, um modelo é treinado em um conjunto de dados conhecido (o conjunto de treinamento) e depois testado em um conjunto de dados não vistos (o conjunto de validação ou teste). O objetivo é medir a capacidade do modelo para predizer novos dados que não foram usados na estimação, assinalando assim problemas como sobreajuste ou viés de seleção e proporcionando uma visão sobre como o modelo generalizará a um conjunto de dados independente. Uma ronda de validação cruzada envolve particionar a muestra em subconjuntos complementarios: o modelo é ajustado em um subconjunto (conjunto de treinamento) e validado no outro (conjunto de validação). Para reduzir a variabilidade, a maioria dos métodos realiza múltiplas rondas com diferentes particiones, e os resultados de validação são promediados sobre as rondas para produzir uma estimação mais precisa do desempeño preditivo.
Motivación
Considere um modelo com um ou mais parâmetros desconocidos e um conjunto de dados ao qual o modelo pode ser ajustado. O processo de ajuste optimiza os parâmetros para fazer que o modelo se ajuste aos dados de treinamento o melhor possível. Se uma muestra independente de dados de validação é tomada da mesma população, o modelo geralmente não se ajustará aos dados de validação tão bem como se ajusta aos dados de treinamento. Esta discrepancia é especialmente grande quando o conjunto de treinamento é pequeno ou quando o número de parâmetros é grande. A validação cruzada proporciona uma maneira de estimar o tamanho deste efeito, o que é crucial para comprender o desempeño do modelo.
Exemplo: Regresión Linear
Em regresión linear, suponha que há valores de resposta reais \(y_1, \ldots, y_n\) e \(n\) vectores de covariáveis p-dimensionales \(\mathbf{x}_1, \ldots, \mathbf{x}_n\), onde cada \(\mathbf{x}_i\) tem componentes \(x_{i1}, \ldots, x_{ip}\). Usando mínimos quadrados para ajustar um hiperplano \(\hat{y} = a + \boldsymbol{\beta}^T \mathbf{x}\) aos dados, o erro quadrático medio (MSE) no conjunto de treinamento se define como:
\[
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^n (y_i - a - \boldsymbol{\beta}^T \mathbf{x}_i)^2.
\]
Se o modelo está correctamente especificado, o MSE de treinamento tende a subestimar o verdadeiro erro de predição porque o modelo foi optimizado para ajustar os dados de treinamento. A validação cruzada ajuda a corrigir este optimismo avaliando o modelo em dados retirados.
Métodos Comuns
Existen várias técnicas de validação cruzada, que diferem em como particionan os dados.
Validação Cruzada k-Fold
Na validação cruzada k-fold, a muestra original é particionada aleatoriamente em \(k\) submuestras de igual tamaño. Destas, \(k-1\) submuestras são usadas como dados de treinamento, e a submuestra restante é usada como dados de validação. O processo se repite \(k\) vezes, com cada submuestra usada exatamente uma vez como dados de validação. Os \(k\) resultados são então promediados para produzir uma única estimação. Eleições típicas para \(k\) são 5 ou 10, equilibrando viés e varianza. Um caso especial é a validação cruzada deixar-um-fora (LOOCV), onde \(k\) iguala o número de pontos de dados, significando que cada observação é usada uma vez como conjunto de validação.
Validação Cruzada Dejar-Uno-Fora (LOOCV)
LOOCV é uma forma extrema de validação cruzada k-fold onde cada conjunto de treinamento consiste em todos menos uma observação, e o conjunto de validação é essa única observação. Este método é computacionalmente caro para grandes conjuntos de dados, mas proporciona uma estimação quase não sesgada do erro de predição, embora possa ter alta varianza.
Submuestreo Aleatorio Repetido
También conhecido como validação cruzada de Monte Carlo, este método divide aleatoriamente os dados em conjuntos de treinamento e validação múltiples vezes, com reemplazo. O erro de predição é promediado sobre as divisiones. Este enfoque não garante que cada observação seja usada para validação exatamente uma vez, mas pode ser útil quando o tamaño dos dados é grande.
Validação Cruzada Estratificada
Em problemas de clasificación com classes desequilibradas, a validação cruzada estratificada assegura que cada fold mantenha as mesmas proporções de classe que o conjunto de dados original. Isto evita que um fold carezca de uma classe particular, o que poderia levar a estimações de desempeño enganosas.
Aplicações
A validação cruzada é amplamente usada em Machine learning e Artificial intelligence para seleção de modelos e ajuste de hiperparámetros. Por exemplo, no treinamento de redes neurais ou grandes modelos de linguagem, os praticantes usam validação cruzada para eleger o número de capas, taxas de aprendizado ou parâmetros de regularización. Também é usada em Deep learning para comparar arquitecturas e em modelos baseados em Transformer (architecture) para avaliar a generalización antes do despliegue.
Más allá da predição, a validação cruzada ajuda a avaliar a estabilidad dos parâmetros do modelo. Se os parâmetros de um modelo variam drasticamente entre diferentes folds de treinamento, isso indica inestabilidad e potencial sobreajuste. Isto é particularmente importante em campos como Generative AI, onde os modelos devem generalizar a entradas diversas do mundo real.
Limitaciones e Considerações
A validação cruzada tem várias limitaciones. Pode ser computacionalmente cara, especialmente com grandes conjuntos de dados e modelos complexos, já que requer treinamento repetido. Para dados de series temporales, a validação cruzada estándar é inapropiada porque a división aleatoria viola a ordem temporal; em seu lugar, se usan técnicas como encadenamiento hacia adiante. Adicionalmente, a validação cruzada estima o erro de predição esperado para um dado tamaño de conjunto de treinamento, mas não contabiliza completamente a variabilidade devido à división aleatoria, o que pode levar a alta varianza na estimação quando o conjunto de dados é pequeno.
Outra consideração é que a validação cruzada assume que os dados são independentes e identicamente distribuidos (i.i.d.). Na prática, se há agrupamento ou correlação dentro dos dados, os resultados de validação podem ser excessivamente optimistas. Métodos como validação cruzada agrupada podem abordar isto assegurando que todas as observações de um grupo sejam mantidas juntas, seja no conjunto de treinamento ou no de validação.
Relação com o Sobreajuste
O sobreajuste ocorre quando um modelo aprende o ruido nos dados de treinamento em lugar do padrão subyacente, levando a um desempeño pobre em novos dados. A validação cruzada é uma ferramenta primaria para detectar sobreajuste: se o erro de validação é significativamente maior que o erro de treinamento, o modelo provavelmente está sobreajustado. Ao promediar sobre múltiples divisiones, a validação cruzada proporciona uma estimação mais confiable do erro de generalización que uma única división treinamento-teste, ajudando aos praticantes a evitar seleccionar modelos excessivamente complexos.
Contexto Histórico
O conceito de validação cruzada tem raíces na estadística que se remontan aos anos 1930, com trabalhos precoces de Seymour Geisser e outros. Se tornou mais proeminente com o auge da estadística computacional e do Machine learning no final do século XX. Investigadores como Thomas G. Dietterich e Michael I. Jordan têm contribuído à sua compreensão teórica e aplicações práticas. Hoje, a validação cruzada é uma ferramenta estándar na caixa de ferramentas dos cientistas de dados e está implementada na maioria das bibliotecas de estadística e aprendizado automático.
Vea También
- aprendizado automático
- inteligência artificial
- aprendizado profundo
- red neuronal
- grande modelo de linguagem
- transformador
- IA generativa
- sobreajuste (se disponível)
Referencias
- Geisser, S. (1975). The predictive sample reuse method with applications. Journal of the American Statistical Association.
- Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society.
- Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. International Joint Conference on Artificial Intelligence.