Feature hashing, também conhecido como o truque de hashing, é uma técnica em aprendizado de máquina para converter características categóricas esparsas e de alta dimensionalidade em uma representação vetorial compacta e de tamanho fixo. Ela aplica uma função hash a cada nome de característica (ou token) para determinar seu índice no vetor de saída e, opcionalmente, uma segunda função hash para determinar o sinal da contribuição. Este método evita a necessidade de manter um dicionário de características separado, reduzindo a sobrecarga de memória e computacional, ao custo de introduzir colisões de hash que podem degradar ligeiramente o desempenho do modelo.
A técnica é particularmente útil para tarefas de aprendizado em larga escala, como publicidade online, classificação de texto e sistemas de recomendação, onde o número de características únicas pode estar na casa dos milhões ou bilhões. Ao mapear características para um espaço de, digamos, 10.000 a 1 milhão de dimensões, o feature hashing permite treinamento eficiente com modelos lineares ou redes neurais, muitas vezes com perda desprezível de precisão.
História e Origens
O conceito de feature hashing tem raízes no início dos anos 2000, com desenvolvimentos independentes em processamento de linguagem natural e métodos de kernel. Um dos primeiros usos publicados foi por John Langford e colegas em 2007, que o aplicaram ao aprendizado em larga escala para detecção de spam. A técnica ganhou reconhecimento mais amplo após o artigo de 2009 "Feature Hashing for Large Scale Multitask Learning" de Kilian Weinberger e colegas, que formalizou a abordagem e demonstrou sua eficácia em múltiplas tarefas.
Antes disso, ideias semelhantes apareceram no contexto de hashing para aproximações de kernel, como o trabalho sobre características aleatórias de Ali Rahimi e Benjamin Recht em 2007. O feature hashing também está intimamente relacionado ao "truque de hashing" usado no sistema de aprendizado Vowpal Wabbit, que Langford desenvolveu na Yahoo! Research.
Como Funciona
O feature hashing opera em duas etapas principais. Primeiro, cada nome de característica (por exemplo, uma palavra ou um valor categórico) é passado por uma função hash, tipicamente um hash de 32 ou 64 bits, para produzir um inteiro. Esse inteiro é então reduzido módulo a dimensão de saída desejada, dando o índice onde o valor da característica (frequentemente 1 para presença) é acumulado. Para reduzir o viés de colisões, uma segunda função hash determina o sinal (+1 ou -1) da contribuição, de modo que as colisões tendem a se cancelar em média.
Por exemplo, na classificação de texto, cada palavra em um documento é submetida a hash para um índice em um vetor de tamanho, digamos, 100.000. O vetor é então usado como entrada para um classificador linear ou uma rede neural. Como a função hash é determinística, a mesma característica sempre mapeia para o mesmo índice, garantindo consistência entre treinamento e inferência.
A principal vantagem é que nenhum dicionário de características precisa ser armazenado, o que é crítico quando o espaço de características é grande demais para caber na memória. No entanto, colisões podem ocorrer, onde diferentes características mapeiam para o mesmo índice, potencialmente causando interferência. O impacto geralmente é pequeno se a dimensão de saída for suficientemente grande em relação ao número de características.
Aplicações em Aprendizado de Máquina
O feature hashing é amplamente usado em sistemas de aprendizado de máquina em larga escala, particularmente no contexto de aprendizado online e computação distribuída. É um componente central da biblioteca Vowpal Wabbit, usada para previsão de taxa de cliques em publicidade. Também é empregado em processamento de linguagem natural para representações de saco de palavras, onde cada documento é convertido em um vetor com hash, permitindo treinamento eficiente de classificadores em corpora de texto massivos.
Em sistemas de recomendação, o feature hashing pode codificar IDs de usuários e itens, bem como características contextuais, em uma representação compacta, permitindo que modelos lidem com milhões de usuários e itens sem tabelas de consulta explícitas. Também é usado em engenharia de características para máquinas de aumento de gradiente, como XGBoost e LightGBM, onde características categóricas são frequentemente submetidas a hash para reduzir o uso de memória.
Mais recentemente, o feature hashing foi aplicado em aprendizado profundo para camadas de incorporação, onde pode servir como uma alternativa de tamanho fixo a incorporações aprendidas, especialmente para categorias raras ou não vistas. Essa abordagem é às vezes chamada de "incorporações com hash" e pode ser benéfica em cenários de aprendizado online onde novas características aparecem com frequência.
Vantagens e Limitações
A principal vantagem do feature hashing é a eficiência de memória. Como nenhum dicionário é necessário, o modelo pode ser treinado em dados com um número ilimitado de características, desde que a dimensão de saída do hash seja fixa. Isso é particularmente útil em configurações de streaming ou distribuídas, onde características podem ser descobertas em tempo real.
Outra vantagem é a simplicidade: a implementação é direta e não requer pré-processamento complexo. Também permite paralelismo fácil, pois cada característica pode ser submetida a hash independentemente.
No entanto, o feature hashing tem limitações. Colisões de hash podem degradar a precisão do modelo, especialmente quando a dimensão de saída é muito pequena. A técnica também perde interpretabilidade, pois não é possível mapear um índice com hash de volta ao nome original da característica sem armazenar um mapeamento separado, o que anula o propósito. Além disso, a escolha da função hash e da dimensão de saída requer ajuste, e há um trade-off entre taxa de colisão e uso de memória.
Comparação com Métodos Alternativos
O feature hashing é frequentemente comparado com outras técnicas de redução de dimensionalidade, como codificação one-hot, codificação de rótulos e incorporações aprendidas. A codificação one-hot é direta, mas requer um dicionário e pode ser extremamente intensiva em memória para características de alta cardinalidade. A codificação de rótulos atribui IDs inteiros, mas impõe uma ordem arbitrária, que pode ser enganosa para dados categóricos. Incorporações aprendidas, como as usadas em redes neurais, podem capturar relações semânticas, mas requerem treinamento e um vocabulário fixo.
O feature hashing fica entre essas abordagens: é mais eficiente em memória que a codificação one-hot, evita o problema de ordem da codificação de rótulos e não requer treinamento ou vocabulário. No entanto, não captura relações entre características, o que as incorporações podem fazer.
Na prática, o feature hashing é frequentemente usado como uma linha de base ou um recurso de fallback quando outros métodos são inviáveis devido à escala. Também é combinado com outras técnicas, como aumento de dados ou poda de modelos, para melhorar a eficiência em sistemas de produção.
Desenvolvimentos Recentes e Pesquisa
A pesquisa sobre feature hashing continua, particularmente no contexto de aprendizado profundo e sistemas em larga escala. Estudos analisaram o efeito de colisões de hash no desempenho do modelo, levando a diretrizes para escolher a dimensão de saída. Alguns trabalhos propuseram funções hash aprendidas que se adaptam à distribuição dos dados, potencialmente reduzindo colisões.
Na era dos grandes modelos de linguagem, o feature hashing é menos proeminente porque esses modelos tipicamente usam tokenização e incorporações aprendidas. No entanto, permanece relevante para lidar com características categóricas em dados tabulares e para engenharia de características eficiente em pipelines de aprendizado de máquina.
Trabalhos recentes também exploraram o uso de feature hashing em aprendizado federado e configurações de preservação de privacidade, onde o hash pode servir como uma forma de ofuscação de características. Além disso, aceleradores de hardware como AWS Trainium e Google Cloud TPUs podem se beneficiar da pegada de memória reduzida que o feature hashing proporciona.
No geral, o feature hashing é uma técnica madura que continua encontrando novas aplicações em ambientes de larga escala e com restrição de recursos.