Ein Bigramm, auch als Digramm bekannt, ist eine Sequenz von zwei benachbarten Elementen, die aus einer Zeichenkette von Token gezogen werden, bei denen es sich typischerweise um Buchstaben, Silben oder Wörter handelt. Formal betrachtet ist ein Bigramm ein N-Gramm mit n gleich 2. Die Häufigkeitsverteilung jedes Bigramms in einer gegebenen Zeichenkette wird häufig für einfache statistische Textanalysen in vielen Anwendungen verwendet, darunter Computerlinguistik, Kryptographie und Spracherkennung.
Bigramme dienen als grundlegender Baustein für das Verständnis und die Verarbeitung natürlicher Sprache. Durch die Untersuchung des gemeinsamen Auftretens benachbarter Elemente können Forscher und Ingenieure lokale Beziehungen innerhalb von Text erfassen, die für Aufgaben nützlich sind, die von der Vorhersage des nächsten Wortes in einer Sequenz bis zur Identifizierung der Sprache eines Dokuments reichen. Sie stellen einen Mittelweg zwischen der Analyse einzelner Zeichen oder einzelner Wörter und längeren N-Gramm-Modellen dar und balancieren Recheneffizienz mit beschreibender Aussagekraft aus.
Anwendungen
Bigramme werden in einer Vielzahl von Bereichen eingesetzt, in denen die statistischen Eigenschaften von Text relevant sind. In der Computerlinguistik und der Verarbeitung natürlicher Sprache sind sie integraler Bestandteil vieler Sprachmodelle, insbesondere solcher, die in der automatischen Spracherkennung verwendet werden. Diese Modelle stützen sich auf die Wahrscheinlichkeit eines Wortes in Abhängigkeit vom vorhergehenden Wort, eine direkte Anwendung der Bigramm-Häufigkeit, um zwischen möglichen phonetischen Interpretationen zu unterscheiden und die Transkriptionsgenauigkeit zu verbessern.
In der Kryptographie sind Bigramm-Häufigkeitsangriffe eine klassische Technik zur Lösung von Kryptogrammen, einschließlich einfacher Substitutionschiffren. Durch den Vergleich der Häufigkeit von Buchstabenpaaren im verschlüsselten Text mit bekannten Verteilungen aus der vermuteten Sprache können Kryptoanalytiker wahrscheinliche Buchstabenzuordnungen ableiten. Diese Methode fällt unter die breitere Frequenzanalyse, die die nicht gleichmäßige Verteilung von Zeichen und deren Kombinationen in natürlichen Sprachen ausnutzt.
Für die statistische Sprachidentifikation bietet die Bigramm-Häufigkeit einen unkomplizierten Ansatz. Durch die Erstellung von Profilen charakteristischer Bigramm-Verteilungen für verschiedene Sprachen können Systeme eine unbekannte Textprobe klassifizieren, indem sie messen, wie genau ihre Bigramm-Häufigkeiten mit jedem Profil übereinstimmen. Diese Technik ist selbst bei relativ kurzen Textausschnitten effektiv.
In der Freizeitlinguistik, auch Logologie genannt, sind Bigramme ein Gegenstand spielerischer Erkundung. Enthusiasten suchen englische Wörter, die mit jedem möglichen Bigramm beginnen, oder versuchen, Wörter zu entdecken, die eine Folge wiederholter Bigramme enthalten, wie das Wort 'logogogue'. Diese Aktivitäten heben die kuriosen Muster und Einschränkungen der Wortbildung in der englischen Sprache hervor.
Darüber hinaus sind lückenhafte Bigramme, auch überspringende Bigramme genannt, Wortpaare, die Lücken zwischen den konstituierenden Wörtern zulassen. Diese Variante ermöglicht die Modellierung breiterer Abhängigkeiten, wie das Vermeiden von Verbindungswörtern oder das Simulieren syntaktischer Beziehungen, die denen einer Dependenzgrammatik ähneln. Solche Bigramme erweitern das grundlegende Konzept, um weiter entfernte Interaktionen innerhalb eines Satzes zu erfassen.
Bigramm-Häufigkeit in der englischen Sprache
Die Häufigkeit der häufigsten Buchstaben-Bigramme in einem großen englischen Korpus folgt einer deutlichen Verteilung. Das häufigste Bigramm ist 'th', das bei 3,56 % aller Bigramm-Vorkommen erscheint, gefolgt von 'he' bei 3,07 %, 'in' bei 2,43 %, 'er' bei 2,05 % und 'an' bei 1,99 %. Weitere häufige Bigramme umfassen 're' bei 1,85 %, 'on' bei 1,76 % und 'at' bei 1,49 %.
Die Verteilung setzt sich fort mit 'en' bei 1,45 %, 'nd' bei 1,35 %, 'ti' bei 1,34 %, 'es' bei 1,34 %, 'or' bei 1,28 % und 'te' bei 1,20 %. Das Bigramm 'of' erscheint bei 1,17 %, wobei 'ed' ebenfalls bei 1,17 % liegt. Niedrigere, aber dennoch bemerkenswerte Häufigkeiten umfassen 'is' bei 1,13 %, 'it' bei 1,12 %, 'al' bei 1,09 %, 'ar' bei 1,07 %, 'st' bei 1,05 % und 'to' bei 1,05 %.
Weiter unten in der Liste hat 'nt' eine Häufigkeit von 1,04 %, 'ng' bei 0,95 %, 'se' bei 0,93 %, 'ha' bei 0,93 %, 'as' bei 0,87 %, 'ou' bei 0,87 %, 'io' bei 0,83 %, 'le' bei 0,83 % und 've' bei 0,83 %. Die Bigramme 'co' und 'me' kommen jeweils bei 0,79 % vor, gefolgt von 'de' und 'hi' mit jeweils 0,76 %. Andere kleine Prozentsätze umfassen 'ri' bei 0,73 %, 'ro' bei 0,73 %, 'ic' bei 0,70 %, 'ne' bei 0,69 %, 'ea' bei 0,69 %, 'ra' bei 0,69 % und 'ce' bei 0,65 %.
Diese Häufigkeitsdaten sind entscheidend für Anwendungen wie Kryptographie, wo die Identifizierung der häufigsten Paare beim Knacken von Chiffren hilft, sowie für die Optimierung von Tastaturlayouts oder Textkomprimierungsalgorithmen.
Beziehung zu anderen N-Grammen
Bigramme sind ein spezifischer Fall der allgemeinen N-Gramm-Technik, wobei n die Anzahl der Elemente in der Sequenz bezeichnet. Unigramme (n=1) betrachten einzelne Token, während Trigramme (n=3) und N-Gramme höherer Ordnung längere Kontexte erfassen. Die Wahl von n beinhaltet einen Kompromiss: Größere n-Werte können komplexere Abhängigkeiten modellieren, erfordern jedoch exponentiell mehr Daten, um sie aufgrund von Datenknappheit zuverlässig zu schätzen.
In modernen Machine learning-Anwendungen, insbesondere innerhalb von Natural language processing-Pipelines, wurden N-Gramm-Statistiken weitgehend durch Neural network-Modelle wie Transformer (architecture)-Architekturen ersetzt. Bigramme bleiben jedoch in der grundlegenden language model-Forschung und in Szenarien relevant, in denen Rechenressourcen begrenzt sind oder ein hoher Bedarf an Interpretierbarkeit besteht.
Rechnerische Aspekte
Die Berechnung von Bigramm-Häufigkeiten ist unkompliziert und effizient. Für eine gegebene Zeichenkette von Token kann man durch die Sequenz iterieren und jedes Paar benachbarter Token zählen. Die resultierenden Zählungen können dann normalisiert werden, um Wahrscheinlichkeiten zu erzeugen. Dieser Prozess bildet die Grundlage von Markov-Modellen, bei denen die Wahrscheinlichkeit des nächsten Tokens vom aktuellen Token abhängig ist.
Bigramme werden auch in Data Augmentation-Techniken und in Loss Functions für bestimmte Aufgaben verwendet, obwohl diese Verwendungen weniger verbreitet sind als in traditionellen statistischen Methoden. Das Konzept der Beam Search in der Sequenzgenerierung stützt sich oft auf Wahrscheinlichkeitsschätzungen aus N-Gramm-Modellen, obwohl moderne Systeme typischerweise fortgeschrittenere Neural network-basierte Bewertungen verwenden.
Siehe auch
- Digraph (Orthographie)
- Buchstabenhäufigkeit
- N-Gramm
- Frequenzanalyse