Bootstrap aggregating, comumente chamado de bagging, é um meta-algoritmo de conjunto em Machine learning projetado para melhorar a estabilidade e a precisão de algoritmos de classificação e regressão. Ele reduz a variância e ajuda a mitigar o sobreajuste. Embora o bagging seja frequentemente aplicado a métodos de árvores de decisão, ele pode ser usado com qualquer tipo de modelo. É um caso especial da abordagem mais ampla de média de conjunto, na qual múltiplos modelos são combinados para produzir uma única previsão.
A técnica foi introduzida por Thomas Dietterich na década de 1990, embora o termo "bagging" tenha sido cunhado por Michael Jordan em um artigo de 1994. Desde então, o bagging tornou-se uma ferramenta fundamental no aprendizado de máquina, especialmente no desenvolvimento de florestas aleatórias e outros métodos de conjunto.
Ideia Central
A ideia central por trás do bagging é aproveitar o poder da média. Modelos individuais treinados em subconjuntos ligeiramente diferentes dos dados de treinamento tendem a ter erros não correlacionados. Ao calcular a média de suas previsões, esses erros se cancelam, resultando em um modelo final mais robusto e preciso. Isso é especialmente benéfico para algoritmos instáveis, nos quais pequenas mudanças nos dados de treinamento podem levar a grandes mudanças no modelo aprendido.
O Algoritmo de Bagging
Dado um conjunto de treinamento padrão \( D \) de tamanho \( n \), o bagging gera \( m \) novos conjuntos de treinamento \( D_i \), cada um de tamanho \( n' \), amostrando \( D \) de forma uniforme e com reposição. Esse processo de amostragem é conhecido como bootstrapping. Quando \( n' = n \), para \( n \) grande, espera-se que cada \( D_i \) contenha cerca de 63,2% das amostras únicas de \( D \), com o restante sendo duplicatas. Essa fração decorre do limite \( 1 - 1/e \). A amostragem com reposição garante que cada conjunto de bootstrap seja independente dos demais, pois a seleção de cada amostra não depende das seleções anteriores.
Após gerar os \( m \) conjuntos de bootstrap, \( m \) modelos são ajustados, um para cada conjunto. Para tarefas de regressão, a previsão final é a média das saídas dos modelos individuais. Para tarefas de classificação, a previsão final é determinada por votação, tipicamente por maioria.
Termos-Chave: Conjuntos Original, Bootstrap e Out-of-Bag
No bagging, três tipos de conjuntos de dados são relevantes: o conjunto original, o conjunto bootstrap e o conjunto out-of-bag (fora da bolsa). O conjunto original é o dado de treinamento fornecido. O conjunto bootstrap é criado por amostragem aleatória com reposição do conjunto original, mantendo o mesmo tamanho. Por exemplo, se o conjunto original consiste em 12 pessoas chamadas Emily, Jessie, George, Constantine, Lexi, Theodore, John, James, Rachel, Anthony, Ellie e Jamal, uma amostra bootstrap pode incluir James, Ellie, Constantine, Lexi, John, Constantine, Theodore, Constantine, Anthony, Lexi, Constantine e Theodore. Aqui, Constantine aparece quatro vezes, Lexi duas vezes e Theodore duas vezes.
O conjunto out-of-bag consiste nas observações que não foram selecionadas na amostra bootstrap. No exemplo, o conjunto out-of-bag seria Emily, Jessie, George, Rachel e Jamal. Como os conjuntos ignoram duplicatas, a diferença é calculada entre o conjunto original e os elementos únicos do conjunto bootstrap.
Aplicação a Árvores de Decisão e Florestas Aleatórias
O bagging é frequentemente usado com árvores de decisão, dando origem às florestas aleatórias. Em uma floresta aleatória, cada árvore é treinada em uma amostra bootstrap e, adicionalmente, em cada divisão, apenas um pequeno subconjunto aleatório de características é considerado. Isso introduz maior diversidade entre as árvores, tornando o conjunto mais robusto.
Para construir uma árvore de decisão a partir de um conjunto bootstrap, o algoritmo examina cada característica e determina quão bem ela separa as amostras em classes positivas e negativas. Isso é frequentemente feito usando uma matriz de confusão, que lista verdadeiros positivos, falsos positivos, verdadeiros negativos e falsos negativos. As características são classificadas com base em métricas como ganho de informação ou uma medida de "pureza". A melhor característica é usada para particionar as amostras em dois conjuntos: aqueles que possuem a característica e aqueles que não a possuem. Esse processo é repetido recursivamente para cada subconjunto até que um critério de parada, como profundidade máxima, seja atingido. Nas folhas, as amostras são classificadas como positivas ou negativas com base na classe majoritária.
Florestas aleatórias, que combinam bagging com seleção aleatória de características, demonstraram alta precisão e são amplamente utilizadas na prática. O número de árvores na floresta afeta o desempenho; por exemplo, um modelo com 50 árvores geralmente tem desempenho melhor do que um com 10 árvores, pois a chance de uma observação ficar de fora de todas as amostras bootstrap diminui com mais árvores.
Efeitos em Diferentes Algoritmos
O bagging melhora o desempenho de procedimentos instáveis, que incluem redes neurais artificiais, árvores de classificação e regressão, e seleção de subconjuntos em regressão linear. Também foi demonstrado que melhora o aprendizado de pré-imagens. Por outro lado, o bagging pode degradar levemente o desempenho de métodos estáveis, como k-vizinhos mais próximos, porque calcular a média de modelos semelhantes não reduz significativamente a variância e pode introduzir viés.
Insights Teóricos
A eficácia do bagging está enraizada na redução de variância. Para um modelo com alta variância, como uma árvore de decisão profunda, pequenas perturbações nos dados de treinamento podem levar a modelos muito diferentes. Ao calcular a média de múltiplos modelos treinados em amostras bootstrap, a variância da previsão final é reduzida, muitas vezes sem um aumento significativo no viés. Isso é particularmente importante em configurações de alta dimensionalidade, como aquelas encontradas em aplicações de Deep learning e Artificial intelligence.
Considerações Práticas
O bagging é computacionalmente eficiente porque cada modelo pode ser treinado de forma independente, facilitando a paralelização. Isso contribuiu para sua popularidade em pipelines de aprendizado de máquina em larga escala, incluindo aqueles usados por provedores de nuvem como Amazon Web Services e Google Cloud. Na prática, o número de amostras bootstrap \( m \) é frequentemente escolhido com base nos recursos computacionais disponíveis, com valores típicos variando de 10 a algumas centenas.
Relação com Outros Métodos de Conjunto
O bagging está intimamente relacionado a outras técnicas de conjunto, como boosting e stacking. Enquanto o boosting foca em treinar modelos sequencialmente para corrigir erros, o bagging treina modelos em paralelo e os combina por média ou votação. Essa distinção torna o bagging particularmente adequado para reduzir a variância, enquanto o boosting é mais eficaz na redução do viés. Florestas aleatórias, uma implementação específica do bagging com árvores de decisão, estão entre os métodos de conjunto mais amplamente utilizados no aprendizado de máquina.
Conclusão
O bagging continua sendo uma técnica fundamental no aprendizado de máquina, oferecendo uma maneira simples, porém poderosa, de melhorar a estabilidade e a precisão dos modelos. Seus princípios influenciaram o desenvolvimento de métodos de conjunto mais avançados e permanecem relevantes em aplicações modernas, desde dados tabulares tradicionais até domínios complexos como redes neurais e modelos de linguagem de grande escala.