Un réseau de confusion, parfois appelé réseau de confusion de mots ou informellement connu sous le nom de saucisse, est une structure de données utilisée en traitement du langage naturel pour combiner les sorties de plusieurs systèmes de reconnaissance automatique de la parole ou de traduction automatique. Il représente des hypothèses concurrentes sur une séquence de mots sous une forme compacte, permettant aux processus aval de différer les décisions concernant un contenu ambigu jusqu'à ce que plus de contexte soit disponible.
La structure est un graphe acyclique dirigé linéaire simple. Il possède un nœud de début unique et un nœud de fin unique, avec la propriété que chaque chemin du début à la fin passe par tous les nœuds intermédiaires dans l'ordre. Entre deux nœuds adjacents, un ensemble d'arêtes représente des mots ou des phrases alternatifs qui pourraient occuper cette position dans la séquence. Cet ensemble d'alternatives est appelé un ensemble de confusion. Chaque arête porte généralement un poids ou une probabilité reflétant la confiance des systèmes sous-jacents dans cette option particulière.
Origines et objectif
Les réseaux de confusion ont émergé de la recherche en reconnaissance automatique de la parole à la fin des années 1990 et au début des années 2000. Les reconnaisseurs de parole produisent souvent un treillis, un graphe plus complexe de séquences de mots possibles, mais les treillis peuvent être coûteux en calcul pour les composants aval tels que les modèles de langue ou les systèmes de traduction automatique. Les réseaux de confusion simplifient cela en réduisant le treillis à une structure linéaire, échangeant une partie de la puissance expressive contre l'efficacité. La forme linéaire permet aux algorithmes de traiter la sortie en une seule passe, ce qui est particulièrement précieux dans les applications en temps réel comme la téléphonie ou la transcription de diffusion.
Le nom informel « saucisse » provient de l'apparence visuelle du graphe, qui ressemble à une chaîne de segments liés lorsqu'il est dessiné. Le terme apparaît dans la littérature académique du début des années 2000, notamment dans les travaux de chercheurs de Nokia Bell Labs et d'autres institutions explorant les techniques de compression de treillis.
Utilisation en traduction automatique
En traduction automatique, les réseaux de confusion jouent un rôle distinct. Plutôt que de combiner les sorties de plusieurs reconnaisseurs, ils permettent à un système de traduction d'accepter plusieurs entrées ambiguës et de différer les décisions engageantes jusqu'à des étapes ultérieures du traitement. Par exemple, lors de la traduction d'une parole transcrite avec incertitude, le système de traduction peut prendre un réseau de confusion comme entrée et générer une traduction qui considère toutes les alternatives simultanément. Cette approche évite de s'engager sur une transcription unique qui pourrait être fausse, et laisse plutôt le modèle de traduction peser les possibilités en utilisant ses propres connaissances.
La caractéristique déterminante dans ce contexte est le report des décisions. Un système de traduction utilisant des réseaux de confusion peut produire une sortie dans la langue cible qui est elle-même un réseau de confusion, qui peut ensuite être réévaluée ou décodée à l'aide de modèles supplémentaires. Cela est particulièrement utile dans la traduction de la parole, où les erreurs de reconnaissance sont courantes et où le coût d'un mauvais choix précoce peut se propager à travers toute la traduction.
Implémentations logicielles
Les réseaux de confusion sont implémentés dans plusieurs outils de traduction et de traitement de la parole largement utilisés. Le logiciel de traduction automatique open source Moses, développé principalement à l'université d'Édimbourg et à la Carnegie Mellon University avec des contributions de nombreuses institutions, inclut le support du décodage de réseaux de confusion. Moses permet aux utilisateurs de saisir des réseaux de confusion dans un format spécifique et produit des traductions qui tiennent compte des hypothèses alternatives.
Dans le domaine commercial, l'API de traduction propriétaire d'IBM Bluemix Watson, désormais intégrée aux offres cloud d'IBM, a utilisé des réseaux de confusion dans le cadre de son pipeline de traduction de parole à parole. L'API accepte une entrée audio, effectue la reconnaissance et construit un réseau de confusion qui est ensuite transmis au moteur de traduction, améliorant la robustesse contre les erreurs de reconnaissance.
Relation avec d'autres techniques
Les réseaux de confusion sont liés mais distincts des autres méthodes de combinaison d'hypothèses. La recherche en faisceau est une stratégie de décodage qui explore plusieurs hypothèses partielles mais ne produit pas une structure de graphe compacte. Les modèles de séquence à séquence, tels que ceux basés sur l'architecture de transformeur, fonctionnent généralement sur une seule séquence d'entrée et ne gèrent pas nativement des entrées alternatives, bien que des extensions aient été proposées. Les réseaux de confusion sont également utilisés dans la combinaison de systèmes, où les sorties de plusieurs reconnaisseurs indépendants sont fusionnées en un seul réseau, une technique qui a montré une réduction du taux d'erreur de mots par rapport à n'importe quel système unique.
Dans les systèmes modernes basés sur l'apprentissage profond, les réseaux de confusion ont vu une moindre importance, car les modèles de bout en bout entraînés sur de grands ensembles de données gèrent souvent l'ambiguïté en interne. Cependant, ils restent pertinents dans les systèmes hybrides et dans les scénarios où plusieurs systèmes hérités doivent être intégrés, comme dans la transcription de journaux télévisés ou le routage d'appels multilingue.
Limites et extensions
Une limitation clé des réseaux de confusion est qu'ils supposent un ordre fixe des positions. Cela les rend inadaptés pour représenter les insertions ou suppressions de mots entre différentes hypothèses, ce qui peut se produire lorsque les systèmes ne s'accordent pas sur la présence d'un mot. Des extensions telles que les réseaux de confusion généralisés ou les variantes basées sur l'alignement abordent cela en permettant des arêtes nulles ou en utilisant des procédures d'alignement plus complexes. Une autre limitation est que la structure linéaire peut perdre des dépendances à longue portée qu'un treillis complet préserverait, bien qu'en pratique les gains d'efficacité l'emportent souvent sur cette perte.
La recherche a également exploré l'utilisation des réseaux de confusion dans d'autres tâches, comme l'augmentation de données pour l'entraînement de modèles de réseaux de neurones, où les alternatives fournissent une variation naturelle dans les données d'entraînement. Certains travaux les ont appliqués au prompt de grands modèles de langue, utilisant le réseau pour représenter plusieurs interprétations possibles d'une requête utilisateur.