Human-in-the-loop (HITL) ist ein Designparadigma in der künstlichen Intelligenz, bei dem menschliche Bediener an der Schulung, Bewertung oder dem Betrieb von Maschinenlern-Modellen teilnehmen. Der Ansatz wird verwendet, wenn automatisierte Systeme Mehrdeutigkeiten nicht vollständig auflösen können, wenn Fehler kostspielig sind oder wenn Ausgaben mit menschlichen Werten und Vorschriften übereinstimmen müssen.
HITL-Workflows umfassen typischerweise einen Feedback-Zyklus: Ein Modell erzeugt eine Vorhersage, ein Mensch überprüft oder korrigiert sie, und die Korrektur wird in die nächste Trainingsiteration des Modells integriert. Dieser Zyklus kann in verschiedenen Phasen angewendet werden, von der Datenbeschriftung bis zur endgültigen Entscheidungsfindung, und ist ein Kernbestandteil vieler moderner Großsprachmodell-Pipelines.
Methoden und Workflows
Eine gängige Methode ist aktives Lernen, bei dem das Modell Beispiele identifiziert, die seine Leistung am meisten verbessern würden, und für diese Beispiele Beschriftungen von einem menschlichen Annotator anfordert. Dies reduziert die Anzahl der benötigten Beschriftungen im Vergleich zur Zufallsstichprobe. Interaktives maschinelles Lernen erweitert dies, indem es Benutzern ermöglicht, Ausgaben in Echtzeit zu korrigieren; die Korrekturen werden zu zusätzlichen Trainingsdaten. Für generative Modelle haben OpenAI und Anthropic Reinforcement Learning aus menschlichem Feedback (RLHF) verwendet, um das Modellverhalten mit der Benutzerabsicht in Einklang zu bringen. Bei RLHF vergleichen menschliche Bewerter Modellantworten und ordnen sie ein; diese Rangfolgen trainieren ein Belohnungsmodell, das dann die Feinabstimmung über Reinforcement Learning leitet. Eine verwandte Technik, RLAIF, verwendet ein KI-System zur Generierung des Feedbacks, wodurch die Notwendigkeit menschlicher Aufsicht reduziert, aber nicht beseitigt wird.
HITL überschneidet sich auch mit Deep Learning und neuronales Netz-Training. Beispielsweise werden Transformer-Modelle nach einer anfänglichen unüberwachten Vortrainingsphase häufig mit menschlichen Präferenzen feinabgestimmt. Einige Systeme kombinieren HITL mit Curriculum-Lernen, bei dem Aufgaben von einfach bis schwer geordnet werden und menschliches Feedback auf die schwierigsten Beispiele konzentriert wird.
Anwendungen
Im autonomen Fahren setzen Waymo und Tesla Autopilot Remote-Bediener und Sicherheitsfahrer ein, um Randfälle zu bewältigen, die ihre Wahrnehmungssysteme nicht sicher auflösen können. Diese menschlichen Eingriffe werden protokolliert und zur Verbesserung nachfolgender Modellversionen verwendet. Im Gesundheitswesen ermöglicht das da-Vinci-System von Intuitive Surgical Chirurgen die Steuerung robotischer Instrumente, und KI-gestützte Diagnosewerkzeuge erfordern oft, dass ein Kliniker automatisierte Befunde bestätigt oder überstimmt. Content-Moderationsplattformen verwenden HITL zur Überprüfung gemeldeter Beiträge, insbesondere bei nuancierten Themen wie Hassrede oder Fehlinformationen.
Cloud-Anbieter bieten verwaltete HITL-Dienste an: Amazon Web Services SageMaker Ground Truth und Google Cloud AI Platform Data Labeling ermöglichen Kunden den Aufbau benutzerdefinierter Datensätze mit menschlichen Annotatoren. Microsoft Azure bietet einen ähnlichen Beschriftungsdienst. Diese Dienste integrieren sich in Crowdsourcing-Plattformen und können zum Trainieren von Modellen für generative KI-Anwendungen verwendet werden.
Geschichte und Forschung
Das Konzept eines Menschen, der automatisierte Systeme überwacht, geht auf die Kontrolltheorie und das Human Factors Engineering der Mitte des 20. Jahrhunderts zurück. In den 1960er Jahren erforschten Forscher bei Xerox PARC interaktives Computing, und spätere Arbeiten am MIT CSAIL untersuchten, wie Menschen maschinelles Lernen durch Beispiele und Korrekturen steuern können. In den 2000er Jahren entstanden Crowdsourcing-Plattformen wie Amazon Mechanical Turk, die groß angelegte menschliche Annotation wirtschaftlich machten. Die akademische Forschung zu interaktivem maschinellem Lernen expandierte in den 2000er Jahren mit Beiträgen mehrerer Institutionen.
Herausforderungen und Grenzen
HITL bringt erhebliche Kosten und Latenzzeiten mit sich. Menschliche Annotation ist teuer, und die für die Überprüfung erforderliche Zeit kann Echtzeitanwendungen verlangsamen. Uneinigkeit unter Annotatoren ist häufig, und Verzerrungen im menschlichen Urteil können in Modelle kodiert werden. Forschung von Aleksander Madry und Kollegen hat gezeigt, dass menschliches Feedback inkonsistent sein kann, insbesondere bei subjektiven Aufgaben oder wenn Bewerter durch adversarial Eingaben beeinflusst werden. Um diese Probleme zu mildern, verwenden Praktiker Datenaufbereitung zur Generierung synthetischer Trainingsbeispiele und Modellbereinigung, um Modelle zu vereinfachen und die Anzahl der Entscheidungen zu reduzieren, die menschliche Überprüfung erfordern. In Hochrisikobereichen verlangen regulatorische Rahmenwerke zunehmend einen Human-in-the-loop für automatisierte Entscheidungen, aber die praktische Umsetzung bleibt eine offene Herausforderung.
Zukünftige Richtungen
Da KI-Systeme leistungsfähiger werden, verschiebt sich die Rolle des Menschen von der Beispiel-für-Beispiel-Beschriftung hin zu hochrangiger Ausrichtung und Prüfung. Google DeepMind hat skalierbare Überwachung untersucht, bei der kleinere Modelle bei der Bewertung größerer Modelle helfen, und OpenAI und Anthropic haben Richtlinien zur Einbeziehung menschlichen Feedbacks während der Modellentwicklung veröffentlicht. Die Integration von HITL mit transformer-basierten Architekturen und neuronalen Netz-Trainingspipelines ist ein aktives Forschungsgebiet, mit einem Fokus auf die Reduzierung des benötigten menschlichen Aufwands bei gleichzeitiger Aufrechterhaltung von Zuverlässigkeit und Fairness.