A minimização do risco empírico (ERM) é um princípio central em aprendizado de máquina que orienta a seleção de um modelo preditivo ao minimizar a perda média calculada em um conjunto finito de exemplos de treinamento. Ela formaliza a ideia intuitiva de ajustar um modelo aos dados observados e sustenta muitos algoritmos usados em aprendizado profundo e outras abordagens de aprendizado estatístico. O conceito foi articulado na década de 1960 por estatísticos e cientistas da computação, notavelmente no trabalho de Vapnik e Chervonenkis, que também desenvolveram o arcabouço teórico para entender quando a ERM é eficaz.
Na ERM, o objetivo é encontrar uma função de um espaço de hipóteses predefinido que minimize o risco empírico, definido como a média de uma função de perda sobre os dados de treinamento. Isso contrasta com o ideal de minimizar o risco esperado, que exige conhecimento da verdadeira distribuição subjacente dos dados. Como essa distribuição é desconhecida, a ERM usa a amostra de treinamento como substituta. A diferença entre o risco empírico e o esperado é uma preocupação central na teoria do aprendizado estatístico, levando a limites que dependem da complexidade do espaço de hipóteses e do número de exemplos de treinamento.
Definição Formal
Dado um conjunto de treinamento de \(n\) amostras independentes e identicamente distribuídas \((x_i, y_i)\), uma função de perda \(L(\hat{y}, y)\) que mede o custo de prever \(\hat{y}\) quando o valor verdadeiro é \(y\), e um espaço de hipóteses \(\mathcal{H}\) de funções candidatas, o risco empírico é:
\[ R_{\text{emp}}(h) = \frac{1}{n} \sum_{i=1}^n L(h(x_i), y_i) \]
O minimizador do risco empírico é a hipótese \(\hat{h}\) que minimiza \(R_{\text{emp}}(h)\) sobre todos os \(h \in \mathcal{H}\). Este é um problema de otimização de dimensão finita, frequentemente resolvido por métodos iterativos como otimizador Adam ou outras variantes de SGD na prática moderna.
Contexto Histórico
A formalização da ERM é atribuída a Vladimir Vapnik e Alexey Chervonenkis na década de 1960, que introduziram o conceito de dimensão VC para caracterizar a capacidade dos espaços de hipóteses. Seu trabalho lançou as bases para a teoria do aprendizado estatístico, que fornece condições sob as quais a ERM é consistente, ou seja, à medida que o tamanho da amostra cresce, o minimizador do risco empírico se aproxima do melhor modelo possível no espaço de hipóteses. Esse embasamento teórico foi posteriormente popularizado na comunidade de aprendizado de máquina por meio de livros e cursos, e permanece como uma pedra angular do campo.
Relação com Outros Princípios de Aprendizado
A ERM está intimamente relacionada a outros paradigmas de aprendizado. Por exemplo, a estimativa de máxima verossimilhança pode ser vista como um caso especial da ERM quando a função de perda é a log-verossimilhança negativa. Técnicas de regularização, como a redução de peso, modificam o objetivo da ERM adicionando um termo de penalidade para controlar a complexidade do modelo, levando a um trade-off entre ajustar os dados de treinamento e generalizar. Em contraste, a inferência bayesiana trata os parâmetros do modelo como variáveis aleatórias e atualiza as crenças com base nos dados, o que pode ser visto como uma abordagem mais abrangente do que a estimativa pontual via ERM.
No aprendizado profundo moderno, a ERM é o objetivo de treinamento padrão para a maioria dos modelos de rede neural, incluindo arquiteturas baseadas em transformadores usadas em modelos de linguagem de grande escala. No entanto, a enorme escala dos modelos e dos dados trouxe desafios práticos, como overfitting e a necessidade de regularização cuidadosa. Técnicas como Dropout, normalização em lote e aumento de dados são frequentemente empregadas para melhorar a generalização além do que a ERM simples alcançaria.
Considerações Práticas
Na prática, a ERM é implementada usando otimização baseada em gradiente. A escolha da função de perda depende da tarefa: funções de perda como erro quadrático médio para regressão e entropia cruzada para classificação são comuns. O processo de otimização envolve atualizar iterativamente os parâmetros do modelo para reduzir o risco empírico, frequentemente usando variantes da descida do gradiente estocástico. Hiperparâmetros-chave incluem a taxa de aprendizado, que pode ser ajustada por meio de um agendamento de taxa de aprendizado, e o tamanho do lote. O recorte de gradiente às vezes é usado para evitar gradientes explosivos, especialmente em redes recorrentes.
Um dos principais problemas da ERM é o overfitting, em que o modelo tem bom desempenho nos dados de treinamento, mas ruim em dados não vistos. Isso é particularmente pronunciado quando o espaço de hipóteses é grande em relação ao tamanho da amostra. Para mitigar isso, os praticantes usam regularização, parada antecipada e validação cruzada. Outra preocupação é que a ERM assume que os dados de treinamento são representativos da distribuição verdadeira; se essa suposição for violada, o modelo resultante pode ser tendencioso.
Insights Teóricos
A teoria do aprendizado estatístico fornece limites para o erro de generalização da ERM. Para um espaço de hipóteses finito, a diferença entre o risco empírico e o esperado pode ser limitada usando a desigualdade de Hoeffding. Para espaços de hipóteses infinitos, a dimensão VC desempenha um papel crucial. Esses limites geralmente crescem com a complexidade do espaço de hipóteses e diminuem com o número de exemplos de treinamento. No entanto, no aprendizado profundo moderno, o número de parâmetros frequentemente excede o número de pontos de treinamento, mas os modelos ainda generalizam bem, um fenômeno que motivou novas investigações teóricas.
Trabalhos recentes exploraram por que modelos superparametrizados treinados com ERM podem generalizar, levando a conceitos como regularização implícita e a hipótese do bilhete de loteria. Esses insights ainda não produziram uma teoria completa, mas destacam a lacuna entre a teoria clássica do aprendizado e a prática contemporânea.