Whisper ist ein automatisches Spracherkennungs-System, das von OpenAI im September 2022 als Open-Source-Modell veröffentlicht wurde, wobei sowohl der Code als auch die trainierten Gewichte öffentlich zugänglich gemacht wurden. Im Gegensatz zu den meisten späteren Veröffentlichungen von OpenAI wurde Whisper mit einem detaillierten technischen Paper veröffentlicht, das seine Trainingsdaten und Methodik beschreibt, was es zu einer der transparenteren Veröffentlichungen eines großen KI-Labors in dieser Zeit machte.
Training und Architektur
Whisper ist ein auf Transformatoren basierendes Encoder-Decoder-Modell, das weitgehend überwacht und schwach gelabelt auf 680.000 Stunden Audio trainiert wurde, die aus dem Web gesammelt und mit entsprechenden Transkripten gepaart wurden. Etwa ein Drittel dieses Audios war nicht-englisch und umfasste rund 100 Sprachen, und ein Teil der Trainingsdaten bestand aus Übersetzungspaaren, was dem Modell eine integrierte Sprach-zu-Text-Übersetzungsfähigkeit neben der Transkription verlieh. Diese Größe und Vielfalt schwach überwachter Daten war ein bewusster Kontrast zu früheren Spracherkennungssystemen, die auf kleineren, kuratierteren akademischen Datensätzen trainiert wurden, und spiegelte breitere Erkenntnisse in dem Bereich über Skalierung und Datenvielfalt wider, die die Robustheit verbessern. Das Modell wurde in mehreren Größen veröffentlicht, von einer leichten "tiny"-Version, die für den Einsatz auf Geräten geeignet ist, bis zu einem großen Modell mit der höchsten Genauigkeit, ein Ansatz, der später von v2- und v3-Updates übernommen wurde, die die Leistung in mehreren Sprachen verbesserten.
Übernahme und Auswirkungen
Da die Gewichte von Whisper unter einer freizügigen offenen Lizenz veröffentlicht wurden, wurde es schnell in eine breite Palette von Drittanbieterprodukten und Open-Source-Projekten integriert, darunter Meeting-Transkriptionstools, Untertitelgeneratoren, Sprachassistenten und Barrierefreiheitssoftware. Seine Robustheit gegenüber Akzenten, Hintergrundgeräuschen und technischem Vokabular im Vergleich zu früheren kommerziellen ASR-Systemen machte es zu einer häufigen Standardwahl für Entwickler, die auf Verarbeitung natürlicher Sprache basierende Pipelines mit einer Sprach-zu-Text-Schnittstelle aufbauen wollten. Whisper wurde auch zu einer Komponente in größeren multimodalen und Sprachinteraktionssystemen, indem es transkribierten Text in nachgelagerte große Sprachmodelle für Sprachassistenten und Callcenter-Automatisierung einspeiste, und seine Transkripte wurden als Quelle für Trainingsdaten für andere Audio- und Sprachprojekte verwendet.
Die Veröffentlichung des Modells trug zu einem breiteren Trend von Foundation-Modell-artigen offenen Gewichten-Veröffentlichungen großer Labore bei, selbst während dieselben Labore ihre Flaggschiff-Generativmodelle geschlossen hielten, ein Muster, das auch ein Jahr zuvor mit CLIP zu sehen war. Da es die Kosten für den Aufbau von Transkriptions- und Übersetzungsfunktionen senkte, wurde Whisper häufig als Faktor genannt, der die Experimentierfreudigkeit mit sprachgesteuerten KI-Anwendungen beschleunigte, einschließlich früher Integrationen in Text-zu-Sprache- und Stimmklon-Pipelines für Synchronisations- und Lokalisierungsprodukte, und es bleibt bis 2025 weit verbreitet als Benchmark und Rückgrat in akademischer und industrieller Sprachforschung.
Einschränkungen
Whisper ist nicht ohne Schwächen: Es kann Text halluzinieren, der nie gesprochen wurde, insbesondere während Stille oder Nicht-Sprach-Audio, ein Fehlermodus, der mit dem breiteren Halluzinations-Problem in generativen Sprachmodellen verwandt, aber davon verschieden ist. Die Genauigkeit variiert auch erheblich zwischen Sprachen, wobei Sprachen mit geringeren Ressourcen höhere Fehlerraten aufweisen als Englisch und andere gut repräsentierte Sprachen in seinen Trainingsdaten, und Forscher haben Fälle dokumentiert, in denen das Modell erfundene Phrasen in medizinische und andere hochriskante Transkripte einfügte, was zur Vorsicht bei unbeaufsichtigter Nutzung in sensiblen Kontexten mahnt.