Um n-grama é uma sequência contígua de n itens de uma amostra de texto ou fala. Os itens podem ser caracteres, sílabas, palavras, fonemas ou até mesmo sequências biológicas, como pares de bases em um genoma. N-gramas são coletados de um corpus de texto ou de fala e são fundamentais para o processamento estatístico de linguagem natural, permitindo que modelos capturem padrões locais e dependências em dados sequenciais.
O termo deriva de prefixos numéricos latinos: um unigrama é uma sequência de um item, um bigrama (ou digrama) de dois, um trigrama de três, e assim por diante. Para tamanhos maiores, usam-se numerais cardinais em inglês, como four-gram ou five-gram. Em biologia computacional, sequências semelhantes são chamadas de k-meros, utilizando prefixos gregos como monômero, dímero, trímero, ou formas em inglês como one-mer, two-mer. Quando os itens são palavras, os n-gramas às vezes são chamados de shingles.
Desenvolvimento Histórico
O conceito de modelos de n-gramas em linguagem remonta a 1951, quando Claude Shannon os discutiu no contexto da teoria da informação. Shannon demonstrou como modelos de n-gramas em nível de caractere e de palavra poderiam gerar texto em inglês plausível, amostrando a partir de distribuições de probabilidade de sequências observadas. Por exemplo, um modelo de trigramas de caracteres poderia produzir texto como "in no ist lat whey cratict froure birs grocid pondenome", enquanto um modelo de bigramas de palavras poderia gerar "the head and in frontal attack on an english writer". Esses experimentos iniciais estabeleceram os n-gramas como uma ferramenta prática para modelar a linguagem estatisticamente.
Aplicações em Processamento de Linguagem Natural
Em processamento de linguagem natural, os n-gramas permitem que modelos de saco de palavras capturem informações de ordem de palavras que de outra forma seriam perdidas. Uma representação tradicional de saco de palavras trata um documento como um conjunto não ordenado de palavras, mas características de n-gramas preservam o contexto local. Essa capacidade é essencial para tarefas como modelagem de linguagem, correção ortográfica, tradução automática e classificação de texto. Modelos de linguagem baseados em n-gramas estimam a probabilidade de uma palavra dado as n-1 palavras anteriores, formando a base de muitas abordagens estatísticas antes do advento das redes neurais.
Os modernos modelos de linguagem de grande porte construídos sobre arquiteturas transformers em grande parte superaram os modelos explícitos de n-gramas em muitas tarefas, mas os n-gramas ainda são relevantes em áreas como atribuição de autoria, estilometria e bioinformática. O Google Books Ngram Viewer, que gráfica a frequência de n-gramas em milhões de livros digitalizados, demonstra sua utilidade contínua para análises culturais e linguísticas.
Biologia Computacional
Em genômica, os k-meros (o equivalente biológico dos n-gramas) são usados para analisar sequências de DNA e RNA. Um k-mero é uma subsequência contígua de comprimento k, e a análise de frequência de k-meros é uma técnica padrão para montagem de genomas, alinhamento de sequências e controle de qualidade. Por exemplo, algoritmos para projetos de sequenciamento de DNA frequentemente usam distribuições de k-meros para detectar erros ou estimar o tamanho do genoma. A escolha do valor de k afeta a sensibilidade e a especificidade: k-meros menores são mais abundantes, mas menos específicos, enquanto k-meros maiores fornecem correspondências mais únicas, mas podem estar ausentes devido a erros de sequenciamento.
Propriedades Estatísticas e Variantes
Modelos de n-gramas podem ser suavizados para lidar com sequências não vistas, usando técnicas como suavização de add-one ou métodos mais avançados como suavização de Kneser-Ney. Eles também podem ser ponderados por frequência, como visto no corpus de n-gramas do Google, que fornece contagens para frases como "serve as the independent" (794 ocorrências) ou "ceramics collectables fine" (130 ocorrências). Essas distribuições de frequência permitem previsões probabilísticas e são usadas em aplicações que vão desde entrada preditiva de texto até reconhecimento de fala.
Limitações e Extensões
Uma limitação fundamental dos n-gramas é sua incapacidade de capturar dependências de longo alcance além do tamanho fixo da janela. Aumentar n melhora o contexto, mas leva à esparsidade dos dados, pois muitas sequências possíveis nunca aparecem nos dados de treinamento. Para lidar com isso, pesquisadores desenvolveram modelos de backoff, interpolação e modelos neurais de linguagem que aprendem representações distribuídas. No entanto, os n-gramas continuam sendo uma linha de base simples e interpretável, frequentemente usados em sistemas híbridos juntamente com métodos de aprendizado de máquina.
Além de texto e fala, os n-gramas foram aplicados à análise musical, onde sequências de notas ou acordes são tratadas como itens, e à segurança de redes, para detectar anomalias em sequências de pacotes. Sua generalidade os torna uma ferramenta versátil em diversas disciplinas que lidam com dados sequenciais.
Ver Também
- Inteligência artificial
- Aprendizado de máquina
- Processamento de linguagem natural
- Modelo estatístico
- Google Ngram Viewer