Um bigrama, também conhecido como digrama, é uma sequência de dois elementos adjacentes extraídos de uma cadeia de tokens, que normalmente são letras, sílabas ou palavras. Em termos formais, um bigrama é um n-grama com n igual a 2. A distribuição de frequência de cada bigrama em uma determinada cadeia é comumente usada para análise estatística simples de texto em muitas aplicações, incluindo linguística computacional, criptografia e reconhecimento de fala.
Bigramas servem como um bloco de construção fundamental na compreensão e processamento de linguagem natural. Ao examinar a co-ocorrência de itens adjacentes, pesquisadores e engenheiros podem capturar relações locais dentro do texto, que são úteis para tarefas que vão desde prever a próxima palavra em uma sequência até identificar o idioma de um documento. Eles representam um meio-termo entre a análise de caractere único ou palavra única e modelos de n-gramas mais longos, equilibrando eficiência computacional com poder descritivo.
Aplicações
Bigramas são empregados em uma variedade de domínios onde as propriedades estatísticas do texto são relevantes. Em linguística computacional e processamento de linguagem natural, eles são integrais a muitos modelos de linguagem, particularmente aqueles usados em reconhecimento automático de fala. Esses modelos dependem da probabilidade de uma palavra dada a palavra precedente, uma aplicação direta da frequência de bigramas, para desambiguar entre possíveis interpretações fonéticas e melhorar a precisão da transcrição.
Em criptografia, ataques de frequência de bigramas são uma técnica clássica usada para resolver criptogramas, incluindo cifras de substituição simples. Ao comparar a frequência de pares de letras em texto cifrado com distribuições conhecidas do idioma suspeito, criptoanalistas podem deduzir mapeamentos prováveis de letras. Este método se enquadra na análise de frequência mais ampla, que explora a distribuição não uniforme de caracteres e suas combinações em línguas naturais.
Para identificação estatística de idiomas, a frequência de bigramas fornece uma abordagem direta. Ao construir perfis de distribuições características de bigramas para diferentes idiomas, sistemas podem classificar uma amostra de texto desconhecida medindo quão próximas suas frequências de bigramas correspondem a cada perfil. Esta técnica é eficaz mesmo com trechos de texto relativamente curtos.
Em linguística recreativa, ou logologia, bigramas são um assunto de exploração lúdica. Entusiastas buscam palavras em inglês que começam com cada bigrama possível, ou tentam descobrir palavras contendo uma sequência de bigramas repetidos, como a palavra 'logogogue'. Essas atividades destacam os padrões curiosos e as limitações da formação de palavras na língua inglesa.
Além disso, bigramas com lacunas, também chamados de bigramas de salto, são pares de palavras que permitem lacunas entre as palavras constituintes. Esta variação permite a modelagem de dependências mais amplas, como evitar palavras de conexão ou simular relações sintáticas semelhantes às de uma gramática de dependência. Tais bigramas estendem o conceito básico para capturar interações mais distantes dentro de uma frase.
Frequência de Bigramas na Língua Inglesa
A frequência dos bigramas de letras mais comuns em um grande corpus de inglês segue uma distribuição distinta. O bigrama mais frequente é 'th', aparecendo em 3,56% de todas as ocorrências de bigramas, seguido por 'he' em 3,07%, 'in' em 2,43%, 'er' em 2,05% e 'an' em 1,99%. Outros bigramas frequentes incluem 're' em 1,85%, 'on' em 1,76% e 'at' em 1,49%.
A distribuição continua com 'en' em 1,45%, 'nd' em 1,35%, 'ti' em 1,34%, 'es' em 1,34%, 'or' em 1,28% e 'te' em 1,20%. O bigrama 'of' aparece em 1,17%, com 'ed' também em 1,17%. Frequências menores, mas ainda notáveis, incluem 'is' em 1,13%, 'it' em 1,12%, 'al' em 1,09%, 'ar' em 1,07%, 'st' em 1,05% e 'to' em 1,05%.
Mais abaixo na lista, 'nt' tem uma frequência de 1,04%, 'ng' em 0,95%, 'se' em 0,93%, 'ha' em 0,93%, 'as' em 0,87%, 'ou' em 0,87%, 'io' em 0,83%, 'le' em 0,83% e 've' em 0,83%. Os bigramas 'co' e 'me' ocorrem cada um em 0,79%, seguidos por 'de' e 'hi' em 0,76% cada. Outras pequenas porcentagens incluem 'ri' em 0,73%, 'ro' em 0,73%, 'ic' em 0,70%, 'ne' em 0,69%, 'ea' em 0,69%, 'ra' em 0,69% e 'ce' em 0,65%.
Estes dados de frequência são cruciais para aplicações como criptografia, onde identificar os pares mais comuns ajuda na quebra de cifras, e para otimizar layouts de teclado ou algoritmos de compressão de texto.
Relação com Outros N-gramas
Bigramas são um caso específico da técnica geral de n-gramas, onde n denota o número de elementos na sequência. Unigramas (n=1) consideram tokens individuais, enquanto trigramas (n=3) e n-gramas de ordem superior capturam contextos mais longos. A escolha de n envolve um trade-off: valores maiores de n podem modelar dependências mais complexas, mas exigem exponencialmente mais dados para estimar de forma confiável devido à esparsidade dos dados.
Em aplicações modernas de Machine learning, particularmente em pipelines de Natural language processing, estatísticas de n-gramas foram em grande parte substituídas por modelos de Neural network como arquiteturas de Transformer (architecture). No entanto, bigramas permanecem relevantes em pesquisa fundamental de language model e em cenários onde os recursos computacionais são limitados ou a necessidade de interpretabilidade é alta.
Aspectos Computacionais
O cálculo de frequências de bigramas é direto e eficiente. Para uma determinada cadeia de tokens, pode-se iterar pela sequência, contando cada par de tokens adjacentes. As contagens resultantes podem então ser normalizadas para produzir probabilidades. Este processo forma a base dos modelos de Markov, onde a probabilidade do próximo token é condicionada ao token atual.
Bigramas também são usados em técnicas de Data Augmentation e em Loss Functions para certas tarefas, embora esses usos sejam menos comuns do que em métodos estatísticos tradicionais. O conceito de Beam Search na geração de sequências frequentemente depende de estimativas de probabilidade de modelos de n-gramas, embora sistemas modernos tipicamente usem pontuação mais avançada baseada em Neural network.
Ver também
- Dígrafo (ortografia)
- Frequência de letras
- N-grama
- Análise de frequência