A tokenização por subpalavras é uma técnica em processamento de linguagem natural que converte texto bruto em uma sequência de tokens, onde cada token pode ser uma palavra inteira, uma parte de uma palavra ou até mesmo um único caractere. Ela se situa entre a tokenização em nível de palavra, que trata cada palavra como uma unidade indivisível, e a tokenização em nível de caractere, que processa o texto como caracteres individuais. Ao usar unidades de subpalavras, os tokenizadores podem lidar com vocabulários grandes de forma eficiente, representar palavras raras ou desconhecidas e preservar informações morfológicas significativas. Essa abordagem é fundamental para os modelos de linguagem de grande porte modernos e outras arquiteturas de redes neurais que processam texto.
A ideia central é dividir palavras em pedaços menores que aparecem com frequência no corpus de treinamento. Por exemplo, a palavra "infelicidade" pode ser dividida em "in", "felic" e "idade", ou "infelicidade" pode ser mantida como um único token se for comum o suficiente. Essa flexibilidade permite que o modelo compreenda palavras novas combinando unidades de subpalavras conhecidas, ao mesmo tempo em que mantém o tamanho do vocabulário gerenciável. A tokenização por subpalavras foi amplamente adotada desde meados da década de 2010 e é um componente-chave dos modelos baseados em Transformer (architecture).
História e Desenvolvimento
O conceito de tokenização por subpalavras surgiu da necessidade de lidar com problemas de vocabulário aberto em tradução automática e modelagem de linguagem. Abordagens iniciais nas décadas de 1990 e 2000 usavam análise morfológica, mas eram frequentemente específicas de cada idioma e computacionalmente caras. Um grande avanço veio com a introdução da Codificação por Pares de Bytes (BPE) para compressão de texto, adaptada para tokenização por Rico Sennrich e colegas em 2016. Seu artigo "Neural Machine Translation of Rare Words with Subword Units" demonstrou que a BPE poderia lidar efetivamente com palavras raras em modelos Sequence-to-Sequence (Seq2Seq).
Na mesma época, o modelo WordPiece foi desenvolvido no Google, inicialmente para reconhecimento de fala e posteriormente popularizado pelo BERT. Outra variante, o Modelo de Linguagem Unigram, foi introduzida por Taku Kudo em 2018 e usada em modelos como ALBERT e T5. Esses métodos diferem em como selecionam as unidades de subpalavras, mas todos compartilham o objetivo de encontrar uma segmentação ideal do texto.
Métodos e Algoritmos
Codificação por Pares de Bytes (BPE)
A BPE é um algoritmo de compressão de dados que mescla iterativamente o par mais frequente de símbolos consecutivos (inicialmente caracteres) em um novo símbolo. Para tokenização, o processo começa com um corpus de texto dividido em caracteres e, em seguida, conta repetidamente pares adjacentes e mescla o par mais frequente até que um tamanho de vocabulário alvo seja alcançado. O vocabulário resultante contém caracteres, subpalavras e palavras inteiras. A BPE é usada em muitos modelos, incluindo a série GPT da OpenAI e o LLaMA da Meta.
WordPiece
O WordPiece é semelhante à BPE, mas usa um critério baseado em verossimilhança para a mesclagem. Ele constrói um vocabulário começando com caracteres individuais e, em seguida, adicionando novos tokens que maximizam a verossimilhança dos dados de treinamento. Essa abordagem tende a produzir subpalavras mais linguisticamente significativas. O WordPiece é usado no BERT, ELECTRA e outros modelos do Google.
Modelo de Linguagem Unigram
A tokenização Unigram trata cada subpalavra como uma unidade independente e usa um modelo probabilístico para escolher a melhor segmentação para cada palavra. Ela começa com um grande vocabulário de subpalavras possíveis e, em seguida, o poda com base em quanto cada token contribui para a verossimilhança geral. Esse método permite múltiplas segmentações e é usado em implementações de SentencePiece.
Papel nos Modelos de Linguagem Modernos
A tokenização por subpalavras é uma etapa de pré-processamento crítica para quase todos os modelos de linguagem de grande porte contemporâneos. Modelos como GPT-4, Claude e Gemini dependem de tokenizadores que convertem texto em tokens de subpalavras antes de alimentá-los na arquitetura Transformer (architecture). A escolha do tokenizador afeta o desempenho do modelo, a eficiência computacional e a capacidade de lidar com múltiplos idiomas.
Por exemplo, um tokenizador com um vocabulário maior pode representar mais palavras como tokens únicos, reduzindo o comprimento da sequência e o custo computacional, mas também pode aumentar o uso de memória do modelo. Por outro lado, um vocabulário menor força mais palavras a serem divididas, o que pode levar a sequências mais longas e possível perda de significado. Os tokenizadores são tipicamente treinados em grandes corpora e mantidos fixos durante o treinamento do modelo.
A tokenização por subpalavras também permite a transferência entre idiomas. Ao compartilhar unidades de subpalavras entre línguas, os modelos podem lidar melhor com alternância de código e palavras raras em idiomas de baixos recursos. Isso é particularmente importante para modelos multilíngues como mBERT e XLM-RoBERTa.
Desafios e Direções Futuras
Apesar de seu uso generalizado, a tokenização por subpalavras tem limitações. Um problema é que ela pode produzir segmentações arbitrárias que não se alinham com fronteiras morfológicas, dificultando o aprendizado da estrutura das palavras pelos modelos. Outro desafio é o tratamento de palavras fora do vocabulário, especialmente em domínios especializados como medicina ou direito, onde novos termos aparecem com frequência. Alguns pesquisadores propuseram tokenização em nível de caractere ou byte para evitar esses problemas, mas essas abordagens geralmente exigem sequências mais longas e mais computação.
Desenvolvimentos recentes incluem tokenização adaptativa, onde o tokenizador pode ser ajustado durante o treinamento, e modelos de ponta a ponta que aprendem a segmentar texto sem um tokenizador fixo. No entanto, a partir de 2025, a tokenização por subpalavras continua sendo o padrão na maioria dos sistemas de produção, e pesquisas em andamento visam melhorar sua eficiência e qualidade linguística.