Un bigramme, également connu sous le nom de digramme, est une séquence de deux éléments adjacents extraits d'une chaîne de jetons, qui sont généralement des lettres, des syllabes ou des mots. En termes formels, un bigramme est un n-gramme avec n égal à 2. La distribution de fréquence de chaque bigramme dans une chaîne donnée est couramment utilisée pour une analyse statistique simple du texte dans de nombreuses applications, notamment la linguistique computationnelle, la cryptographie et la reconnaissance vocale.
Les bigrammes servent de bloc de construction fondamental pour comprendre et traiter le langage naturel. En examinant la co-occurrence d'éléments adjacents, les chercheurs et les ingénieurs peuvent capturer des relations locales dans le texte, utiles pour des tâches allant de la prédiction du mot suivant dans une séquence à l'identification de la langue d'un document. Ils représentent un juste milieu entre l'analyse à caractère unique ou à mot unique et les modèles de n-grammes plus longs, équilibrant l'efficacité computationnelle et le pouvoir descriptif.
Applications
Les bigrammes sont employés dans divers domaines où les propriétés statistiques du texte sont pertinentes. En linguistique computationnelle et en traitement du langage naturel, ils sont intégrés à de nombreux modèles de langue, en particulier ceux utilisés dans la reconnaissance vocale automatique. Ces modèles reposent sur la probabilité d'un mot étant donné le mot précédent, une application directe de la fréquence des bigrammes, pour lever l'ambiguïté entre les interprétations phonétiques possibles et améliorer la précision de la transcription.
En cryptographie, les attaques par fréquence de bigrammes sont une technique classique utilisée pour résoudre des cryptogrammes, y compris les chiffrements par substitution simple. En comparant la fréquence des paires de lettres dans un texte chiffré avec les distributions connues de la langue suspectée, les cryptanalystes peuvent déduire les correspondances de lettres probables. Cette méthode relève de l'analyse de fréquence plus large, qui exploite la distribution non uniforme des caractères et de leurs combinaisons dans les langues naturelles.
Pour l'identification statistique de la langue, la fréquence des bigrammes fournit une approche simple. En construisant des profils de distributions caractéristiques de bigrammes pour différentes langues, les systèmes peuvent classer un échantillon de texte inconnu en mesurant à quel point ses fréquences de bigrammes correspondent à chaque profil. Cette technique est efficace même avec des extraits de texte relativement courts.
En linguistique récréative, ou logologie, les bigrammes sont un sujet d'exploration ludique. Les passionnés cherchent des mots anglais qui commencent par chaque bigramme possible, ou tentent de découvrir des mots contenant une séquence de bigrammes répétés, comme le mot « logogogue ». Ces activités mettent en évidence les schémas curieux et les limitations de la formation des mots dans la langue anglaise.
De plus, les bigrammes avec trous, également appelés bigrammes sauteurs, sont des paires de mots qui permettent des écarts entre les mots constitutifs. Cette variante permet de modéliser des dépendances plus larges, comme éviter les mots de liaison ou simuler des relations syntaxiques analogues à celles d'une grammaire de dépendance. Ces bigrammes étendent le concept de base pour capturer des interactions plus distantes dans une phrase.
Fréquence des bigrammes dans la langue anglaise
La fréquence des bigrammes de lettres les plus courants dans un grand corpus anglais suit une distribution distincte. Le bigramme le plus fréquent est « th », apparaissant à 3,56 % de toutes les occurrences de bigrammes, suivi de « he » à 3,07 %, « in » à 2,43 %, « er » à 2,05 % et « an » à 1,99 %. D'autres bigrammes fréquents incluent « re » à 1,85 %, « on » à 1,76 % et « at » à 1,49 %.
La distribution continue avec « en » à 1,45 %, « nd » à 1,35 %, « ti » à 1,34 %, « es » à 1,34 %, « or » à 1,28 % et « te » à 1,20 %. Le bigramme « of » apparaît à 1,17 %, avec « ed » également à 1,17 %. Des fréquences plus faibles mais toujours notables incluent « is » à 1,13 %, « it » à 1,12 %, « al » à 1,09 %, « ar » à 1,07 %, « st » à 1,05 % et « to » à 1,05 %.
Plus bas dans la liste, « nt » a une fréquence de 1,04 %, « ng » à 0,95 %, « se » à 0,93 %, « ha » à 0,93 %, « as » à 0,87 %, « ou » à 0,87 %, « io » à 0,83 %, « le » à 0,83 % et « ve » à 0,83 %. Les bigrammes « co » et « me » apparaissent chacun à 0,79 %, suivis de « de » et « hi » à 0,76 % chacun. D'autres petits pourcentages incluent « ri » à 0,73 %, « ro » à 0,73 %, « ic » à 0,70 %, « ne » à 0,69 %, « ea » à 0,69 %, « ra » à 0,69 % et « ce » à 0,65 %.
Ces données de fréquence sont cruciales pour des applications telles que la cryptographie, où l'identification des paires les plus courantes aide à déchiffrer les codes, et pour optimiser les dispositions de clavier ou les algorithmes de compression de texte.
Relation avec d'autres n-grammes
Les bigrammes sont un cas spécifique de la technique générale des n-grammes, où n désigne le nombre d'éléments dans la séquence. Les unigrammes (n=1) considèrent des jetons individuels, tandis que les trigrammes (n=3) et les n-grammes d'ordre supérieur capturent des contextes plus longs. Le choix de n implique un compromis : des valeurs de n plus grandes peuvent modéliser des dépendances plus complexes mais nécessitent exponentiellement plus de données pour être estimées de manière fiable en raison de la rareté des données.
Dans les applications modernes de Machine learning, en particulier dans les pipelines de Natural language processing, les statistiques de n-grammes ont été largement supplantées par des modèles de Neural network tels que les architectures de Transformer (architecture). Cependant, les bigrammes restent pertinents dans la recherche fondamentale sur les language model et dans les scénarios où les ressources computationnelles sont limitées ou où le besoin d'interprétabilité est élevé.
Aspects computationnels
Le calcul des fréquences de bigrammes est simple et efficace. Pour une chaîne de jetons donnée, on peut itérer à travers la séquence, en comptant chaque paire de jetons adjacents. Les comptages résultants peuvent ensuite être normalisés pour produire des probabilités. Ce processus constitue la base des modèles de Markov, où la probabilité du prochain jeton est conditionnée par le jeton actuel.
Les bigrammes sont également utilisés dans les techniques de Data Augmentation et dans les Loss Functions pour certaines tâches, bien que ces utilisations soient moins courantes que dans les méthodes statistiques traditionnelles. Le concept de Beam Search dans la génération de séquences repose souvent sur des estimations de probabilité provenant de modèles de n-grammes, bien que les systèmes modernes utilisent généralement des méthodes de notation plus avancées basées sur des Neural network.
Voir aussi
- Digramme (orthographe)
- Fréquence des lettres
- N-gramme
- Analyse de fréquence