abess (Adaptive Best Subset Selection, também ABESS) é um método de aprendizado de máquina projetado para abordar o problema de seleção do melhor subconjunto na modelagem estatística. Dado um conjunto de dados e uma tarefa de predição, ele determina quais características ou variáveis são cruciais para o desempenho ideal do modelo. O método foi introduzido por Zhu em 2020 e seleciona dinamicamente o tamanho apropriado do modelo de forma adaptativa, eliminando a necessidade de selecionar parâmetros de regularização. O abess é aplicável em diversas tarefas estatísticas e de aprendizado de máquina, incluindo regressão linear, o modelo de índice único e outros modelos preditivos comuns, e também pode ser aplicado em bioestatística.
A inovação central do abess reside em sua capacidade de realizar a seleção do melhor subconjunto sob uma restrição de norma L0 com complexidade de tempo polinomial, enquanto fornece estimativas não viesadas e consistentes. Diferentemente dos métodos de regularização tradicionais que exigem o ajuste de parâmetros de penalidade, o abess determina adaptativamente o tamanho do conjunto de suporte por meio de um algoritmo de troca iterativo, tornando-o particularmente atraente para a análise de dados de alta dimensão.
Forma Básica
A forma básica do abess aborda o problema de seleção do melhor subconjunto na regressão linear geral. É um método L0 caracterizado por complexidade de tempo polinomial e pela propriedade de fornecer estimativas tanto não viesadas quanto consistentes. No contexto da regressão linear, suponha que temos conhecimento de n amostras independentes (x_i, y_i), i = 1, ..., n, onde x_i é um vetor de dimensão p e y_i é uma resposta escalar. Defina X como a matriz de design n por p e y como o vetor de resposta n-dimensional. O modelo de regressão linear geral é expresso como y = Xβ + ε, onde β é o vetor de coeficientes e ε é o termo de erro.
Para obter parâmetros β apropriados, considera-se a função de perda para regressão linear: L_n^LR(β; X, y) = (1/(2n)) ||y - Xβ||_2^2. No abess, o foco inicial é otimizar essa função de perda sob a restrição L0, resolvendo o problema: minimizar L_n^LR(β; X, y) sujeito a ||β||_0 ≤ s, onde s representa o tamanho desejado do conjunto de suporte, e ||β||_0 = soma dos indicadores (β_i ≠ 0) é a norma L0 do vetor.
Algoritmo e Conceito de Sacrifício
Para abordar o problema de otimização, o abess troca iterativamente um número igual de variáveis entre o conjunto ativo e o conjunto inativo. Em cada iteração, o conceito de sacrifício é introduzido. Para cada variável j no conjunto ativo, o sacrifício ξ_j é definido como o aumento na função de perda quando a variável j é removida do conjunto ativo: ξ_j = L_n^LR(β_hat_{A \ {j}}) - L_n^LR(β_hat_A), onde A é o conjunto ativo atual e β_hat_A é o vetor de coeficientes estimado restrito a A.
O algoritmo prossegue calculando os sacrifícios para todas as variáveis no conjunto ativo, então identificando as variáveis com os menores sacrifícios (aquelas que podem ser removidas com o menor aumento de perda). Simultaneamente, ele avalia variáveis candidatas do conjunto inativo que poderiam ser adicionadas. A etapa de troca substitui as variáveis ativas menos importantes pelos candidatos inativos mais promissores, mantendo o tamanho do suporte s. Esse processo continua até a convergência, tipicamente medida pela mudança na função de perda ou pela estabilidade do conjunto ativo.
Seleção Adaptativa do Tamanho do Modelo
Uma característica distintiva do abess é sua seleção adaptativa do tamanho do modelo s, o que elimina a necessidade de validação cruzada ou critérios de informação para escolher o número de variáveis. O método começa com um tamanho de suporte pequeno e gradualmente o aumenta enquanto monitora a melhoria na função de perda. Ele usa um critério baseado no trade-off entre qualidade do ajuste e complexidade do modelo, frequentemente empregando um critério de informação bayesiano (BIC) modificado ou uma penalidade similar que se adapta aos dados.
Essa abordagem adaptativa é computacionalmente eficiente porque evita ajustar modelos para uma grade de valores de s. Em vez disso, o abess explora o caminho de soluções à medida que s aumenta, reutilizando cálculos de iterações anteriores. O tamanho final do modelo é escolhido quando a melhoria marginal no ajuste cai abaixo de um limiar, ou quando o critério de informação atinge um mínimo.
Propriedades Teóricas
O abess fornece várias garantias teóricas que o distinguem de outros métodos de seleção de variáveis. Sob condições de regularidade padrão, o método alcança consistência de estimação e consistência de seleção de variáveis, o que significa que os coeficientes estimados convergem para os valores verdadeiros e o conjunto de suporte selecionado corresponde ao conjunto ativo verdadeiro com probabilidade tendendo a um à medida que o tamanho da amostra cresce. A complexidade de tempo polinomial é uma vantagem significativa sobre a seleção exaustiva do melhor subconjunto, que é NP-difícil em geral.
A propriedade de não viés surge porque a penalidade L0 não encolhe os coeficientes das variáveis selecionadas, diferentemente de métodos baseados em L1, como o lasso, que introduzem viés por meio do encolhimento. Isso torna o abess particularmente atraente quando estimativas de coeficientes não viesadas são importantes para interpretação ou inferência subsequente.
Aplicações em Regressão e Além
O abess é aplicável a uma ampla gama de modelos estatísticos além da regressão linear. No contexto do modelo de índice único, o abess pode ser estendido para selecionar covariáveis relevantes enquanto estima a função de ligação desconhecida. O método foi adaptado para modelos lineares generalizados, incluindo regressão logística e de Poisson, onde a função de perda é modificada de acordo. Em bioestatística, o abess tem sido usado para descoberta de biomarcadores, onde identificar um pequeno conjunto de genes ou variáveis clínicas preditivas é crucial.
O método também lida com configurações de alta dimensão onde o número de preditores p pode exceder em muito o tamanho da amostra n. Em tais cenários, o mecanismo de seleção adaptativa e o algoritmo de troca mantêm a viabilidade computacional enquanto fornecem seleção de variáveis confiável.
Implementação de Software
O método abess é implementado em um pacote R de código aberto, também chamado abess, que fornece funções para regressão linear, regressão logística e outros modelos. O pacote inclui código C++ eficiente para o algoritmo central, tornando-o adequado para conjuntos de dados em larga escala. Os usuários podem especificar o tamanho máximo do suporte ou deixar o procedimento adaptativo determiná-lo automaticamente. O pacote também oferece ferramentas de visualização para o caminho da solução e gráficos de diagnóstico.
Comparação com Outros Métodos
Comparado a abordagens baseadas em regularização, como o lasso e a elastic net, o abess oferece a vantagem de estimativas não viesadas e seleção automática do tamanho do modelo sem parâmetros de ajuste. No entanto, pode ser computacionalmente mais intensivo que o lasso para p muito grande, embora a complexidade de tempo polinomial mitigue essa preocupação. Comparado a algoritmos gananciosos como o matching pursuit ortogonal, o abess fornece um mecanismo de troca mais fundamentado que pode escapar de ótimos locais.
Limitações e Extensões
Embora o abess seja poderoso, ele assume que o modelo linear ou suas extensões são válidos e que a restrição L0 é apropriada para o problema. Para relações altamente não lineares, extensões usando expansões de base ou métodos de kernel podem ser necessárias. A pesquisa continua na extensão do abess para modelos mais complexos, incluindo arquiteturas de aprendizado profundo e configurações de redes neurais, onde a seleção de características é integrada ao processo de treinamento.
Ver Também
Referências
Zhu, J. (2020). abess: Adaptive Best Subset Selection. (Artigo original de introdução)
Links Externos
- Pacote R abess no CRAN (não vinculado aqui conforme diretrizes)