GPT-1, veröffentlicht von OpenAI am 11. Juni 2018, war der erste generative vortrainierte Transformer (GPT), eine Art von großem Sprachmodell, das auf der Transformer-Architektur basiert. Es führte einen halbüberwachten Ansatz ein, der generatives Vortraining auf unbeschrifteten Texten mit diskriminativem Feintuning für spezifische Sprachaufgaben kombinierte und das Feld der natürlichen Sprachverarbeitung und der künstlichen Intelligenz erheblich voranbrachte.
Hintergrund
In den 2010er-Jahren ermöglichte ein KI-Boom, angetrieben durch verbesserte maschinelle Lernalgorithmen, leistungsfähigere Computer und zunehmend digitalisierte Daten, rasche Fortschritte in der KI. Generatives Vortraining, eine Form des selbstüberwachten Lernens, war im maschinellen Lernen seit langem etabliert: Ein Modell wird zunächst auf einem großen unbeschrifteten Datensatz trainiert, um das Generieren von Daten zu lernen, und dann mit beschrifteten Daten an eine spezifische Aufgabe angepasst. Die Transformer-Architektur, die 2017 von Google-Forschern im Paper „Attention Is All You Need" eingeführt wurde, löste Leistungsprobleme älterer rekurrenter neuronaler Netze, indem sie einen Aufmerksamkeitsmechanismus nutzte, um ganze Sequenzen auf einmal zu verarbeiten, was viel größere und ausgefeiltere Modelle ermöglichte.
Geschichte
Am 11. Juni 2018 veröffentlichte OpenAI das Paper „Improving Language Understanding by Generative Pre-Training" und stellte GPT-1 vor. Es war ein transformerbasiertes Modell, das nur den Decoder-Teil verwendete, auf BookCorpus, einem vielfältigen Textkorpus, vortrainiert wurde, um das nächste Token vorherzusagen, gefolgt von diskriminativem Feintuning für spezifische Aufgaben. Dieser halbüberwachte Ansatz war ein Durchbruch, da frühere leistungsfähigste neuronale Modelle auf teurem überwachtem Lernen mit manuell beschrifteten Daten beruhten. Am 14. Februar 2019 veröffentlichte OpenAI GPT-2, eine direkte Skalierung mit 1,5 Milliarden Parametern und einem 40-Gigabyte-Datensatz aus 8 Millionen Webseiten, das zunächst aufgrund von Bedenken hinsichtlich Missbrauchs gestaffelt veröffentlicht wurde. Am 10. Februar 2020 stellte Microsoft Turing Natural Language Generation mit 17 Milliarden Parametern vor und behauptete, es sei das größte Sprachmodell seiner Zeit. Am 28. Mai 2020 veröffentlichte OpenAI GPT-3 mit 175 Milliarden Parametern, was Few-Shot- und Zero-Shot-Lernen voranbrachte. Nach GPT-3 nutzte OpenAI Reinforcement Learning aus menschlichem Feedback, um InstructGPT zu erstellen, was zu ChatGPT führte, das am 30. November 2022 auf Basis von GPT-3.5 und später GPT-4 (veröffentlicht am 14. März 2023) gestartet wurde. Die Beliebtheit von ChatGPT spornte Konkurrenten wie Googles PaLM und Gemini, Meta AIs Llama und andere an.
Grundlagenmodelle
Ein Grundlagenmodell ist ein KI-Modell, das auf breiten Daten in großem Maßstab trainiert wird und für viele nachgelagerte Aufgaben anpassbar ist. Grundlegende GPTs können über Text hinausgehende Modalitäten wie Bilder und Audio nutzen. Einige generative transformerbasierte Modelle werden für Text-zu-Bild-Technologien verwendet, einschließlich Diffusion und parallelem Decoding, und dienen als visuelle Grundlagenmodelle für die Entwicklung von Bildverarbeitungssystemen.
Effiziente Transformer-Architekturen
Die Rechen- und Speicheranforderungen von Transformer-Modellen steigen erheblich mit Größe und Eingabelänge, da die Standard-Self-Attention quadratische Komplexität aufweist. Forscher schlugen Effizienzverbesserungen wie sparse Attention-Mechanismen und speichereffiziente Architekturen vor, um Kosten zu senken und längere Kontextfenster zu unterstützen. Modelle wie BigBird, Reformer und FlashAttention demonstrieren strukturierte Aufmerksamkeitsmuster oder optimierte Berechnung und helfen großen Sprachmodellen, lange Sequenzen effizient zu verarbeiten.
Auswirkungen
Die Einführung von GPT-1 legte das Fundament für nachfolgende GPT-Modelle und beeinflusste die breitere Entwicklung generativer KI. Sein halbüberwachter Ansatz reduzierte die Abhängigkeit von beschrifteten Daten und ermöglichte das Training auf riesigen unbeschrifteten Korpora. Der Erfolg von GPT-1 und seinen Nachfolgern führte zu einer weit verbreiteten Übernahme transformerbasierter Modelle in verschiedenen Anwendungen, von Chatbots bis zur Inhaltsgenerierung, und förderte Forschung zu Modellskalierung, Ausrichtung und Effizienz.