Maschinelles Lernen ist ein Teilgebiet der künstlichen Intelligenz, bei dem Computersysteme ihre Leistung bei einer Aufgabe verbessern, indem sie statistische Muster aus Daten lernen, anstatt Regeln zu folgen, die explizit von Hand programmiert wurden. Es liegt den meisten zeitgenössischen Anwendungen der künstlichen Intelligenz zugrunde, von Spam-Filtern bis hin zu großen Sprachmodellen.
Der Begriff wird allgemein Arthur Samuel zugeschrieben, der ihn 1959 verwendete, um ein Dame spielendes Programm zu beschreiben, das sich durch Selbstspiel verbesserte.
Paradigmen
Maschinelles Lernen wird üblicherweise in drei Paradigmen unterteilt. Beim überwachten Lernen lernt ein Modell aus Beispielen, die mit korrekten Beschriftungen versehen sind, wie etwa Bildern, die mit Objektkategorien getaggt sind. Beim unüberwachten Lernen findet ein Modell Struktur in unbeschrifteten Daten, beispielsweise indem es ähnliche Elemente zusammen gruppiert. Beim bestärkenden Lernen lernt ein Agent, indem er Aktionen in einer Umgebung ausführt und Belohnungen oder Strafen erhält – ein Paradigma, das bahnbrechende Ergebnisse wie AlphaGo hervorbrachte. Ein vierter Ansatz, das selbstüberwachte Lernen, erzeugt sein eigenes Trainingssignal aus unbeschrifteten Daten, etwa indem es ein verborgenes Wort aus seinem Kontext vorhersagt, und ist die Methode hinter dem Vortraining moderner Sprachmodelle.
Kernmethoden
Die meisten Modelle des maschinellen Lernens werden trainiert, indem eine Verlustfunktion definiert wird, die misst, wie falsch die Vorhersagen des Modells sind, und dann die Parameter des Modells angepasst werden, um diesen Verlust durch Gradientenabstieg oder ein verwandtes Optimierungsverfahren zu reduzieren. Statistische Ansätze, die vor der Ära des tiefen Lernens entstanden, wie etwa Support-Vektor-Maschinen, die von Vladimir Vapnik und Kollegen entwickelt wurden, bleiben für kleinere oder besser interpretierbare Probleme im Einsatz. Seit den 2010er Jahren sind neuronale Netzwerk-Modelle, insbesondere Deep-Learning-Architekturen, die dominierende Methode für Aufgaben mit Bildern, Audio und Text geworden, sofern ausreichend Trainingsdaten und Rechenleistung vorhanden sind.
Praktische Anliegen
Eine zentrale Herausforderung beim maschinellen Lernen ist das Überanpassen, bei dem ein Modell Muster auswendig lernt, die spezifisch für seine Trainingsdaten sind, anstatt Muster zu lernen, die auf neue Beispiele verallgemeinern. Praktiker begegnen diesem Problem durch Techniken wie Regularisierung, Kreuzvalidierung und das Zurückhalten von Testdaten. Die Qualität und der Umfang der Trainingsdaten sowie die Wahl der Modellarchitektur sind typischerweise größere Determinanten der realen Leistung als jeder einzelne algorithmische Trick.
Verbreitung
Maschinelles Lernen entwickelte sich in den 2010er Jahren von einer akademischen Disziplin zu einer gängigen Ingenieurspraxis, getrieben unter anderem durch öffentlich verfügbare Frameworks, Cloud-Computing und Pädagogen wie Andrew Ng, dessen Online-Kurse das Feld einem breiten Publikum vorstellten. Es liegt heute der Suchrankings, Betrugserkennung, medizinischen Bildanalyse, Empfehlungssystemen und dem Training großer Sprachmodelle zugrunde, die moderne Konversationsassistenten antreiben.
Die Unterscheidung zwischen maschinellem Lernen und früherer regelbasierter Software ist in der Praxis nicht immer scharf, da viele Produktionssysteme gelernte Komponenten mit handgeschriebener Geschäftslogik kombinieren, aber das definierende Merkmal eines Systems des maschinellen Lernens bleibt, dass sein Verhalten wesentlich durch die Daten geprägt wird, auf denen es trainiert wurde, und nicht durch Regeln, die ein Programmierer direkt geschrieben hat.
Neuere Entwicklungen
Im Jahr 2012 erzielte AlexNet, entwickelt von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton, deutlich verbesserte Ergebnisse im ImageNet-Bilderkennungswettbewerb und trug zur breiteren Übernahme tiefer neuronaler Netze bei. Im Jahr 2013 führten Tomáš Mikolov und Kollegen Word2vec ein, Techniken zum effizienten Lernen verteilter Vektorrepräsentationen von Wörtern aus großen Textkorpora. Im Jahr 2014 führten Ian Goodfellow und Kollegen generative adversariale Netzwerke (GANs) ein, ein Rahmenwerk zum Training generativer Modelle durch einen adversarischen Prozess. Im Jahr 2016 wurde AlphaGo das erste Computerprogramm, das einen professionellen menschlichen Go-Spieler ohne Vorgaben auf einem vollständigen Brett besiegte, unter Verwendung tiefer neuronaler Netze und bestärkenden Lernens. Im Jahr 2017 führten Ashish Vaswani und Kollegen den Transformer ein, eine neuronale Netzwerkarchitektur, die hauptsächlich auf Aufmerksamkeit basiert und nicht auf Rekurrenz oder Faltung.