Lehrlernen ist ein Teilgebiet des maschinellen Lernens, das sich damit befasst, einem Agenten eine Aufgabe beizubringen, indem er Demonstrationen eines Experten beobachtet, anstatt explizite Belohnungssignale oder handgefertigte Anweisungen zu erhalten. Der Begriff wurde in der grundlegenden Arbeit von Pieter Abbeel und Andrew Ng im Jahr 2004 populär gemacht, die das Problem als das Erlernen einer Policy formulierten, die den Merkmalserwartungen des Experten in einem Markov-Entscheidungsprozess (MDP) entspricht. Anders als beim standardmäßigen überwachten Imitationslernen, das direkt die Aktionen des Experten kopiert, zielt das Lehrlernen typischerweise darauf ab, die zugrunde liegende Belohnungsfunktion abzuleiten, die das Verhalten des Experten motiviert, ein Problem, das auch als inverses Verstärkungslernen bekannt ist. Dieser Ansatz ermöglicht es dem Agenten, über die demonstrierten Zustände hinaus zu generalisieren und Situationen zu bewältigen, in denen das optimale Verhalten nicht einfach eine direkte Abbildung von Beobachtungen auf Aktionen ist.
Die Kernidee ist, dass das Verhalten eines Experten als optimal (oder nahezu optimal) in Bezug auf eine unbekannte Belohnungsfunktion angenommen wird. Das Ziel des Lernenden ist es, eine Policy zu finden, die genauso gut abschneidet wie der Experte, gemessen an der erwarteten kumulativen Belohnung. Da die wahre Belohnung unbekannt ist, muss der Lernende sie aus den Demonstrationen schätzen. Abbeel und Ng zeigten, dass, wenn die der Belohnungsfunktion eine lineare Kombination bekannter Merkmale ist, dann das Abgleichen der Merkmalserwartungen der Experten-Policy ausreicht, um zu garantieren, dass die lernende Policy fast genauso gut abschneidet wie die des Experten, unabhängig von den spezifischen Gewichten der Belohnungsfunktion. Diese Erkenntnis bildet die Grundlage vieler Ausbildungs-, bzw. Lehrlernalgorithmen.
Formaler Rahmen
Das Lehrlernen wird typischerweise im Rahmen eines Markov-Entscheidungsprozesses (MDP) formalisiert, der durch eine Menge von Zuständen, Aktionen, Übergangswahrscheinlichkeiten und einem Diskontierungsfaktor definiert ist. In der Standardsituation ist die Belohnungsfunktion dem Lernenden unbekannt. Der Experte stellt eine Reihe von Trajektorien bereit, die Sequenzen von Zuständen und Aktionen sind. Der Lernende muss dann eine Policy berechnen, die die erwartete Rendite unter der unbekannten Belohnung maximiert.
Das zentrale mathematische Werkzeug ist das Konzept der Feature-Erwartungen. Für eine gegebene Policy ist die Feature-Erwartung die erwartete diskontierte Summe der Merkmalsvektoren, die in einer Trajektorie auftreten. Indem die Feature-Erwartungen der Policy der des Lernenden mit denen der Experten-Politik abgleicht, stellt der Lernende sicher, dass seine Policy nahe am Optimum unter jeder linearen Belohnungsfunktion liegt, die der Experte optimiert haben könnte. Dies ist eine starke Garantie, da es nicht erforderlich ist, dass der Lernende die exakten Belohnungsgewichte identifiziert.
Relation zum inversen Verstärkungslernen
Das Lehrlernen ist eng verwandt mit dem inversen Verstärkungslernen (IRL), das das Problem ist, die Belohnungsfunktion aus Experten-Demonstrationen zu rekonkonstruieren. Bei IRL besteht das Ziel darin, die Belohnungsfunktion explizit zu schätzen, während beim Lehrlernen das Ziel ist DIRECTLY eine gut funktionierende Policy zu produzieren. Viele Algorithmen des Lehrlernens funktionieren, indem sie iterativ ein IRL-Problem lösen und dann die geschätzte Belohnung verwenden, um eine Policy zu trainieren. Dieser iterative Prozess wird oft als „Lehrlernalgorithmus“ bezeichnet und wurde in der 2004er Arbeit eingeführt. Der Algorithmus wechselt zwischen dem Finden einer Policy, die die aktuelle Schätzung der Belohnung maximiert, und der Aktualisierung der BelohnungsAbbild, um das Verhalten des Experten optimaler erscheinen zu lassen.
Algorithmen und Methoden
Es wurden mehrere Algorithmen für das daraus Lehrtxuring-Lernen entwickelt. Der ursprüngliche Algorithmus von Abbeel und Ng verwendet einen linearen Programmierungsansatz, um eine Policy zu finden, die die Feature-Erwartungen des Experten abgleicht. Nachfolgende Arbeiten haben diese auf nichtlineare Belohnungsfunktionen erweitert, unter Verwendung von Techniken wie Maximum-Entropy-IRG-Lernen, das das Verhalten des Experten als transversen oder stochastisch modelliert und die Entropie der Policy unter den wahren Match mit den Feature-Erwartungen maximiert. Eine weitere populäre MU-Methode ist die Verwendung von generativen adversarialen -Netz (GANs) in Form von generativen adversarialen im Imitationslernen (GAIL), das direkt eine Policy lernt, die die Staats-Actions-Verteilung des Experten nachahmt, ohne eine Belohnungsfunktionexplizit zu rekonstruieren.
Neuere Methoden nutzen Deep Learning und neuronale Netzwerke-Architekturen, um hochdimensionaldimensionale ZustandGenlagen wie Bilder zu verarbeiten. Diese Methoden beinhalten häufig kombinieren das Lehrlernen mit Deep-Learning-Techniken, was es dem Agenten ermöglicht, aus den rohen Pixel-in input zu lernen. Bei manuellenroboterischen Manipulationsaufgaben trainieren z. B. Heispiel können ein dtiefes Lehralgorithmus durch Beobachten einer menschlichen Demonstration lernen, Objekte zu greifen, unter mit -Verwendunge eines CNNs zur visuellen Verarbeitung der organs.
Anwendungen
Lehrbeseitiggen wurde in vielen Domänen bewusst. In der Robotik wurde es eingesetzt, um Roboter Vigilanz wie Fahren, Fliegen und Manipulation beizubringen. Zum Beispiel haben Waymo und Tesla Imitationslernen-Techniken für das autonome Fahren untersucht, bei denen der Experte ein menschlicherFahrer ist. Beim Spielelernen wurde das Lehrendployedx, um Agenten zu trainieren Spiele zu trainieren, z wie Schach und Go z. B. durch Beobachtungets von Expertenzügen beträgt, wenn auch moderne Ansätze sie heute mit RL kombinieren. In der Sprachverarbeitung wurde das Lehrlernen auf dialogsystem, das auch beobachtet den Aktion ist das der Agent lernt er lernt er lernt als von Dialog zu imitieren und auch beiusammenfassungs-Tasks.
Im Gesundheits, das wird - Lehrmx Verfahren für die klinische Entscheidungsfindung einsetzenmodel. Zum Beispiel kann ein Agent die Empfehlung von Behandlungen erlernen durch Beobachtung der Entscheidungen erfahrener Pfleber. Dies ist besonders riskanü und kompliziert, wo die Definition einer Belohnungsfunktion schwierig ist, wie z. B. in personalisierte Medizin. In der Finanzdomän wurde es auch für den algorithmischen Handel eingesetzt, bei dem der Experte ein erfolgreicher Trader ist, und der das Agent seine Strategien auf Replikierungen lernt.
6.3.5 - 8 Herausforderungen und Grenzen
Eine Haupt Frage bei aller Lehrewandnis ist die Notwendigkeit einer großen Anzahl von a Diesenumber of Demonstrations. Der Experte kann sein Verhalten als störungsbehaftet oder suboptimalbeitragen, was zu richten können führt. Zusätzlich ist die Ann, dass der Experte eine lineare Belohnungsfunktion optimiertlossen in zu einschränknehm. vielen realen Szenarierenreichen sein. Wenn der wahre Lohnonlinear ist, genügt das Abgleichen der Feature higher - expectancy nicht, umwirtlich garantiert eine gute Leistung zu.
Weitere Herausforderung ist das Problem der Verteilungrl (Distributional Shift). Die Policy des Lernenden kann Zustände besuchen besucht nicht in den Expertentäufe abgedeckt sind, was zu unvorhersehbarem Verhalten führen kann. Dies ist besonders in hochdimensionalen Zustandräumen schwierig - wobei die Abdeckheit des Experten "spärlich" ist. Technikenquellenzo Das Combines wie Datenaugmentation und Domain Randomisierung wurden dagegen zur dieser Minderung diskutieren zum Minderungsvorschlag, jedoch nicht immer eine Wirksamkeit besitzen have.
Ein weiterer Punkt: Das Lehrlernen ist sehr empfindlich gegenüber ause Feature-Wahl. Die Features müssen informativ genug sein, um eine die relevanten Aspekte der Aufgab zu erfassen, dürfen jedoch nicht so hochdimensional sein, dass der Feature-ErwartungsAusgleich rechnerisch und möglich wütend wäre. In der Praxis erfordert das -Gestaltung guter Features häufig wieder Expertenwissen.
6 Vergleich mit anderen Lernparadigma
Das Lehrlernen is interacts mit T viele andere Paradigmata wiejem Curriculumslernen und RLAF oder reinforcement-learning-from-AI-Feedback - - wobei letzteres als “VerstärkungsLernen AI Feedback” wiedergegeben werden könnte - interpretiert. Beim Curriculumslernen (curriculum-lernen) wird tder Agent auf schrittweise schwereren Aufgaben trainiert??? Das ist ein -zsatz- anderes Vorgehen, dass die -Effizienz zu verbiessern. Im Gegensatz dazu konzentriert sich der Lernen prodekonzentriert das Lehdes lerning sich auf Lernen-Lernen ausExpertendemonstrationen. Verstärktalernen aus menschlichem Feedback (RlHF), das verwendet bereits zum Training von Large-Language-Modellen, ist zwar verwandt, jedoch unterscheidet es - sich wesentlich: RLHF nutzt menschliche Präferenzen zur Formen eines Belohnungsmodells - währendddd das LehrLearn dagegen direkt Demonstrationsdatenss. Denn - Zed - beide Methoden-Ausrichtungung, das Verhalten des Agenten mit menschlichen Absichten zuüs, in Einklang.
Ein verwand labegriff ist die Start Behavioural Cloning (Verhaltensklonen), eine einfache Form des I-See.
, Modellierungslernens, bei dem derAgent mit überwachtem Lernen eine direkte mapping Zustands → Aktion erlernt. Behavioral cloning ist oft einfacher implementierbar implement, leidet jedoch an Verteilungss - und kann nicht über die Demonstation liegen hinaus generalisieren. Das **Lehrlernen -, durch die Schätzenan den Belohnung**, kann potenziell besser.
6. Entwicklungen / Neue Entwicklungen
Aktuell ist das aus Blick auf Integration mit Deep LearningAnga und skaliertbarenter Infrastruktur gewachsen: z.B. OpenAI und Google DeepMind haben Entwickelung Algorithmen, die Lehrem Lernen mit .... RL kombinieren, um überized menschlische Leistungen - hügelfähigkeiten in komplexen Umgebungen zu erzielen- haben. Im Kontext von generative KI wurde das Werden das Lehrlernen bereits genutzt, um Modell - den Menschenausrichten-Wertb- zu vervollständigen hat, ähnlich wie RLHF aber mit Demonstrationen statt mit Präferenzen.
Darüber hinaus das Interesse an Multi-Agenten-Systemen, in denen mehrere Agenten lerntierend von den DemonstrationenAnderer lernen - in der komplexen Domäne des autonome Fahrens von entscheidung, da sich Fahrzeugepes gegen gegenseitigung und; Agenten müssen interagieren. ForschenGruppen am mit-csail und stanford-ai-lab haben neue Richtungen dazu erforscht, um Scaleierungbarkeit und Robustheit - Fokus.
9. Zukunftsperspektiven
Die zukunft des Lehrern in Bezug auf die w aber vor allem auf -limitations un Address: Ein vielversprechender Wege ist die Entwicklung von Methoden mitwenigen Examples, dieevorbeigener Methoden, die mit Vorwissen oder aktiven Lernens FragenExperten in Richtung unsicherer Staaten genutzt werden, nutzt. Eine weitere Richtung: Die Erweiterung auf partiell beobachtbare Umgebungen, wo der Agent verborgene?state aus Beobachtungen ableitet /inferieren - dies ist fürAlgorithmen wie für offlineobject wie Autonomefahroboter von entscheidungen, da Sensoren unabberGesumsichere Daten liefern.
Weiterer Gegenwarts – man verbindet Lehraktion mit anderen Lernformen, wie model-pruning oder.
dat-augmentation, um Effizienz und Generalisierung zu erhöhen. ImMaße AI-Systeme immer mehr in Gesellschaft integriert sind werden , wird das Lerinding from Human-Expert
al - eine Rolle spielen, umZLernende Maschine - sicher und vertrauenswürdig -zu anwenden** aus zu menschenstärken.
auf Expertenweliere in zuverlässiger Weise zu gewinnen.