Whisper ist ein maschinelles Lernmodell für Spracherkennung und Transkription, das von OpenAI entwickelt und erstmals im September 2022 als Open-Source-Software veröffentlicht wurde. Es ist in der Lage, Sprache auf Englisch und in mehreren anderen Sprachen zu transkribieren und kann mehrere nicht-englische Sprachen ins Englische übersetzen. Whisper ist ein schwach überwachtes Deep-Learning-Akustikmodell, das mit einer Encoder-Decoder-Transformer-Architektur erstellt wurde. OpenAI behauptet, dass die Kombination aus verschiedenen Trainingsdaten und einer Nachbearbeitungsfilterung, die bei seiner Entwicklung verwendet wurde, zu einer verbesserten Erkennung von Akzenten, Hintergrundgeräuschen und Fachjargon im Vergleich zu früheren Ansätzen geführt hat. Obwohl das Modell größere, spezialisiertere Modelle nicht übertrifft und weiterhin unter KI-Halluzinationen leidet, hat es sich als nützlich für die allgemeine Klangerkennung erwiesen und findet viele Anwendungen in verschiedenen Branchen.
Hintergrund
Die Spracherkennung hat eine lange Forschungsgeschichte; die ersten Ansätze verwendeten statistische Methoden wie Dynamic Time Warping und später verborgene Markov-Modelle. Etwa in den 2010er Jahren wurden Ansätze mit tiefen neuronalen Netzen bei Spracherkennungsmodellen häufiger, was durch die Verfügbarkeit großer Datensätze („Big Data“) und eine erhöhte Rechenleistung ermöglicht wurde. Frühe Ansätze zum Deep Learning in der Spracherkennung umfassten faltende neuronale Netze, die aufgrund ihrer Unfähigkeit, sequenzielle Daten zu erfassen, eingeschränkt waren, was später zur Entwicklung von Sequenz-zu-Sequenz-Ansätzen führte, die rekurrente neuronale Netze umfassen und Long Short-Term Memory nutzten.
Transformer, die 2017 von Google eingeführt wurden, verdrängten viele frühere State-of-the-Art-Ansätze in einem breiten Spektrum des maschinellen Lernens und wurden zur zentralen neuronalen Architektur in Bereichen wie Sprachmodellierung und Computer Vision. Schwach überwachte Ansätze zum Training akustischer Modelle wurden Anfang der 2020er Jahre als vielversprechend für Spracherkennungsansätze mit tiefen neuronalen Netzen anerkannt.
Laut einem NYT-Bericht glaubte OpenAI im Jahr 2021, die Quellen hochwertigerer Daten für das Training ihrer großen Sprachmodelle erschöpft zu haben, und beschloss, gescrapten Webtext durch Transkriptionen von YouTube-Videos und Podcasts zu ergänzen. Whisper wurde entwickelt, um diese Aufgabe zu lösen.
Whisper Large V2 wurde am 8. Dezember 2022 veröffentlicht, gefolgt von Whisper Large V3 im November 2023 während des OpenAI Dev Day. Im März 2025 veröffentlichte OpenAI neue Transkriptionsmodelle, die auf GPT-4o und GPT-4o mini basieren, die beide niedrigere Fehlerraten als Whisper aufweisen.
Architektur
Die Whisper-Architektur basiert auf einem Encoder-Decoder-Transformer. Das Eingabeaudio wird auf 16.000 Hertz (Hz) neu abgetastet und mit 25-ms-Fenstern und einem 10-ms-Schritt in ein 80-Kanal-Log-Magnitude-Mel-Spektrogramm umgewandelt. Das Spektrogramm wird dann auf einen Bereich von [-1, 1] mit einem Mittelwert nahe Null normalisiert.
Der Encoder nimmt dieses Mel-Spektrogramm als Eingabe und verarbeitet es. Es durchläuft zunächst zwei Faltungsschichten. Sinusförmige Positionskodierungen werden hinzugefügt. Anschließend wird es von einer Reihe von Transformer-Encoder-Blöcken (mit Pre-Activation-Residualverbindungen) verarbeitet. Die Ausgabe des Encoders wird schichtnormalisiert.
Der Decoder ist ein standardmäßiger Transformer-Decoder. Er hat die gleiche Breite und die gleichen Transformer-Blöcke wie der Encoder. Er verwendet gelernte Positionskodierungen und gebundene Eingabe-Ausgabe-Token-Darstellungen (wobei dieselbe Gewichtsmatrix für sowohl die Eingabe- als auch die Ausgabe-Embeddings verwendet wird). Er verwendet einen Byte-Pair-Encoding-Tokenizer, der gleichen Art wie in GPT-2. Englischsprachige Modelle verwenden das GPT-2-Vokabular, während mehrsprachige Modelle ein neu trainiertes mehrsprachiges Vokabular mit der gleichen Anzahl von Wörtern verwenden.
Spezielle Token werden verwendet, um dem Decoder die Ausführung mehrerer Aufgaben zu ermöglichen:
- Token, die die Sprache bezeichnen (ein eindeutiges Token pro Sprache).
- Token, die die Aufgabe festlegen (<|transcribe|> oder <|translate|>).
- Token, die festlegen, ob keine Zeitstempel vorhanden sind (<|notimestamps|>). Wenn das Token nicht vorhanden ist, sagt der Decoder Zeitstempel relativ zum Segment voraus, quantisiert auf 20-ms-Intervalle.
- <|nospeech|> für die Sprachaktivitätserkennung.
- <|startoftranscript|> und <|endoftranscript|>. Jeglicher Text, der vor <|startoftranscript|> erscheint, wird nicht vom Decoder generiert, sondern dem Decoder als Kontext gegeben. Der Verlust wird nur über nicht-kontextuelle Teile der Sequenz berechnet, d. h. Token zwischen diesen beiden speziellen Token.
Trainingsdaten
Der Trainingsdatensatz besteht aus 680.000 Stunden gekennzeichneter Audio-Transkript-Paare, die mithilfe von halbüberwachtem Lernen aus dem Internet bezogen wurden. Dies umfasst 117.000 Stunden in 96 nicht-englischen Sprachen und 125.000 Stunden X→Englisch-Übersetzungsdaten, wobei X für eine beliebige nicht-englische Sprache steht.
Die Vorverarbeitung umfasste die Standardisierung von Transkripten, die Filterung zur Entfernung maschinell generierter Transkripte mithilfe von Heuristiken (z. B. Zeichensetzung, Großschreibung), die Sprachidentifikation und den Abgleich mit Transkripten, die Fuzzy-Deduplizierung und die Deduplizierung mit Bewertungsdatensätzen, um Datenkontamination zu vermeiden. Sprachlose Segmente wurden ebenfalls einbezogen, um das Training der Sprachaktivitätserkennung zu ermöglichen. Für die Dateien, die nach dem Filterprozess verblieben, wurden Audiodateien dann in 30-Sekunden-Segmente unterteilt, die mit dem Teil des Transkripts gepaart wurden, der in diesem Zeitraum vorkommt. Wenn sich die vorhergesagte gesprochene Sprache von der Sprache des mit dem Audio verbundenen Texttranskripts unterschied, wurde dieses Audio-Transkript-Paar nicht für das Training der Spracherkennungsmodelle verwendet, sondern für das Training der Übersetzung.
Das Modell wurde mit dem AdamW-Optimierer mit Gradientennorm-Clipping und einem linearen Lernratenabfall mit Aufwärmphase trainiert, mit einer Stapelgröße von 256 Segmenten. Das Training lief über 1 Million Updates (ungefähr 2-3 Epochen). Es wurden keine Datenaugmentierung oder Regularisierung verwendet, außer beim Large V2-Modell, das SpecAugment, Stochastic Depth und BPE-Dropout verwendete. Das Training verwendete Datenparallelität mit Float16, dynamischer Verlustskalierung und Aktivierungs-Checkpointing.
Nachbearbeitungsfilterung
Nach dem Training des ersten Modells führten die Forscher es auf verschiedenen Teilmengen der Trainingsdaten aus, die jeweils eine bestimmte Quelle darstellten. Datenquellen wurden nach einer Kombination aus ihrer Fehlerrate und Größe eingestuft. Die manuelle Inspektion der am höchsten eingestuften Quellen (hohe Fehlerrate, große Größe) half festzustellen, ob die Quelle von geringer Qualität war (z. B. partielle Transkriptionen, ungenaue Ausrichtung). Nach dem Training wurde das Modell feinabgestimmt, um die Vorhersage von Sprechernamen zu unterdrücken, und Quellen von geringer Qualität wurden dann entfernt.
Kapazität
Obwohl Whisper Modelle, die auf den LibriSpeech-Datensatz spezialisiert sind, nicht übertrifft, ist es bei Tests über viele Datensätze hinweg robuster und macht 55,2 % weniger Fehler als andere Modelle. Whisper weist eine unterschiedliche Fehlerrate in Bezug auf die Transkription verschiedener Sprachen auf, mit einer höheren Wortfehlerrate bei Sprachen, die in den Trainingsdaten nicht gut repräsentiert sind. Die Autoren stellten fest, dass Multi-Task-Lernen die Gesamtleistung im Vergleich zu Modellen, die auf eine Aufgabe spezialisiert sind, verbesserte. Sie vermuteten, dass das beste trainierte Whisper-Modell immer noch unterangepasst ist, was darauf hindeutet, dass eine weitere Skalierung zusätzliche Verbesserungen bringen könnte.