Agregação por bootstrap, comumente conhecida como bagging, é um método de aprendizado em conjunto no aprendizado de máquina projetado para melhorar a precisão e a robustez de modelos preditivos. Ela funciona gerando múltiplas amostras bootstrap (subconjuntos aleatórios com reposição) do conjunto de dados de treinamento original, treinando um modelo base separado em cada amostra e, em seguida, agregando suas previsões. Para tarefas de regressão, a previsão final é tipicamente a média de todas as saídas dos modelos base; para classificação, é o voto majoritário. O bagging reduz principalmente a variância, ajudando a mitigar o sobreajuste, e é particularmente eficaz para algoritmos de alta variância, como árvores de decisão.
A técnica foi introduzida por Leo Breiman em 1994 em seu artigo "Bagging Predictors". É um conceito fundamental no aprendizado em conjunto, distinto do boosting (que corrige erros sequencialmente) e da combinação de modelos (que combina modelos diversos por meio de um meta-aprendiz). O bagging é amplamente utilizado na prática, mais notavelmente como o núcleo de florestas aleatórias, onde é combinado com subamostragem de características. Sua simplicidade e eficácia o tornaram uma ferramenta padrão tanto na pesquisa acadêmica quanto em aplicações industriais, das finanças à saúde.
Desenvolvimento Histórico
O bagging emergiu da pesquisa estatística e de aprendizado de máquina mais ampla do início dos anos 1990, um período marcado pelo crescente interesse em combinar múltiplos modelos para melhorar a generalização. Leo Breiman, um estatístico da Universidade da Califórnia, Berkeley, formalizou a abordagem em 1994, com base em trabalhos anteriores sobre métodos bootstrap de Bradley Efron. Breiman demonstrou tanto teórica quanto empiricamente que a média das previsões de modelos treinados em conjuntos de dados perturbados poderia reduzir o erro, especialmente para aprendizes instáveis cujas saídas mudam significativamente com pequenas variações nos dados.
O método ganhou rápida tração após a introdução das florestas aleatórias por Breiman em 2001, que estendeu o bagging ao também selecionar aleatoriamente um subconjunto de características para cada divisão em árvores de decisão. Essa inovação descorrelacionou ainda mais os modelos base, levando a ganhos substanciais de desempenho. Desde então, o bagging foi integrado a inúmeras bibliotecas de software, incluindo scikit-learn, o pacote randomForest do R e o TensorFlow Decision Forests, tornando-o acessível a profissionais em todo o mundo.
Detalhes Algorítmicos
O algoritmo de bagging procede de maneira direta. Dado um conjunto de treinamento de tamanho n, o processo gera B amostras bootstrap, cada uma de tamanho n, extraídas uniformemente com reposição. Isso significa que algumas instâncias originais podem aparecer múltiplas vezes em uma amostra, enquanto outras são omitidas (aproximadamente 63,2% das instâncias únicas aparecem em qualquer amostra dada, com o restante sendo duplicatas). Para cada amostra, um modelo base é treinado independentemente, frequentemente usando o mesmo algoritmo e hiperparâmetros. Os modelos base podem ser árvores de decisão, redes neurais ou outros aprendizes.
A agregação depende da tarefa. Para regressão, as previsões são calculadas como média: \( \hat{f}(x) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(x) \). Para classificação, a classe final é determinada por voto majoritário entre os modelos base. O número de amostras bootstrap B é um hiperparâmetro-chave; valores típicos variam de 50 a 500, com retornos decrescentes além de algumas centenas. O bagging não requer validação cruzada para os modelos base, pois as amostras fora do saco (as instâncias não incluídas em uma dada amostra bootstrap) podem ser usadas para estimar o erro de generalização sem um conjunto de validação separado.
Fundamentos Teóricos
A eficácia do bagging decorre da redução de variância. Para um modelo base com variância de previsão \( \sigma^2 \) e correlação pareada \( \rho \) entre modelos, a variância da média do conjunto é aproximadamente \( \rho \sigma^2 + (1-\rho)\sigma^2/B \). À medida que B aumenta, o segundo termo desaparece, deixando \( \rho \sigma^2 \). Assim, o bagging funciona melhor quando os modelos base são instáveis (alta variância), mas não muito correlacionados. Árvores de decisão são ideais porque pequenas perturbações nos dados levam a divisões diferentes, mas a estrutura geral permanece suficientemente semelhante para manter a correlação moderada.
A análise original de Breiman mostrou que o bagging pode reduzir o erro quadrático médio para regressão e a taxa de classificação incorreta para classificação, desde que o aprendiz base seja instável. Ele não ajuda significativamente aprendizes estáveis, como regressão linear, onde a variância já é baixa. O método também fornece um mecanismo natural para estimativa de incerteza por meio da dispersão das previsões dos modelos base, que pode ser usada para construir intervalos de previsão.
Aplicações Práticas
O bagging é aplicado em diversos domínios. Em finanças, é usado para pontuação de crédito e detecção de fraude, onde reduzir falsos positivos é crítico. Em saúde, árvores de decisão com bagging ajudam a prever resultados de pacientes e diagnosticar doenças a partir de registros eletrônicos de saúde. Em sensoriamento remoto, florestas aleatórias (uma variante do bagging) classificam a cobertura do solo a partir de imagens de satélite. O método também é comum em processamento de linguagem natural para classificação de texto, embora modelos de aprendizado profundo frequentemente dependam de outras técnicas de regularização.
Uma aplicação notável está em métodos de conjunto para competições de Machine learning, onde o bagging é frequentemente combinado com boosting ou usado como etapa final para estabilizar previsões. Por exemplo, no Netflix Prize e em competições do Kaggle, participantes frequentemente aplicam bagging aos seus melhores modelos para obter pequenos ganhos de precisão. Na indústria, empresas como Amazon Web Services e Google Cloud oferecem serviços gerenciados que incluem implementações de bagging, permitindo treinamento de modelos escalável sem orquestração manual.
Limitações e Extensões
O bagging tem várias limitações. Ele não reduz o viés; se o modelo base estiver sistematicamente subajustando, o bagging não corrigirá isso. Também aumenta o custo computacional linearmente com o número de modelos base, embora o treinamento possa ser paralelizado facilmente, pois cada modelo é independente. O uso de memória pode ser alto ao armazenar muitos modelos. Além disso, o bagging é menos eficaz para conjuntos de dados muito grandes, onde um único modelo já generaliza bem, ou para algoritmos estáveis, como máquinas de vetores de suporte lineares.
Extensões abordam alguns desses problemas. Florestas aleatórias adicionam subamostragem de características para descorrelacionar ainda mais as árvores. Pasting (ou subbagging) treina em amostras menores aleatórias sem reposição, reduzindo a carga computacional. Bragging (agregação por bootstrap com boosting por gradiente) combina bagging com boosting para melhorar a precisão. Para redes neurais, uma técnica relacionada chamada conjuntos profundos treina múltiplas redes com diferentes inicializações aleatórias, efetivamente aplicando bagging no nível dos pesos. Essas variantes destacam a influência duradoura da ideia original de Breiman no aprendizado em conjunto moderno.