Amy Zhang ist eine Forscherin im Bereich der künstlichen Intelligenz, die sich auf menschenzentrierte KI, bestärkendes Lernen und Interpretierbarkeit konzentriert. Sie ist Assistenzprofessorin an der University of Washington und Forschungswissenschaftlerin bei Meta AI (ehemals Facebook AI Research). Ihre Arbeit zielt darauf ab, KI-Systeme transparenter, interaktiver und besser mit menschlichen Werten in Einklang zu bringen, wobei sie oft maschinelles Lernen mit Erkenntnissen aus der Kognitionswissenschaft und der Mensch-Computer-Interaktion kombiniert.
Zhang promovierte in Informatik an der University of California, Berkeley, wo sie von Pieter Abbeel betreut wurde. Ihre Doktorarbeit entwickelte Methoden zum Lernen aus menschlichem Feedback und zur Steigerung der Stichprobeneffizienz beim bestärkenden Lernen. Sie war außerdem Gastforscherin bei Google Brain und am Montreal Institute for Learning Algorithms (MILA). Vor ihrer Promotion erwarb sie einen Bachelor-Abschluss in Informatik an der University of Waterloo.
Bestärkendes Lernen und menschliches Feedback
Zhangs frühe Arbeit konzentrierte sich auf bestärkendes Lernen, insbesondere darauf, wie Agenten aus spärlichen Belohnungen und aus Demonstrationen lernen können. Sie trug zur Entwicklung von Algorithmen bei, die Nachahmungslernen mit Belohnungsformung kombinieren und es Agenten ermöglichen, komplexe Verhaltensweisen aus einer kleinen Anzahl menschlicher Beispiele zu lernen. Ein bemerkenswertes Projekt, "Learning by Playing", führte eine Methode zur Lösung von Aufgaben mit spärlichen Belohnungen ein, die unüberwachte Erkundung nutzt, um Fähigkeiten zu erlernen, die für nachgelagerte Aufgaben wiederverwendet werden können.
Ein zentrales Thema ihrer Forschung ist die Nutzung menschlichen Feedbacks zur Steuerung des KI-Trainings. Sie hat an Techniken für präferenzbasiertes bestärkendes Lernen gearbeitet, bei dem ein Modell aus paarweisen Vergleichen von Trajektorien lernt, anstatt aus expliziten Belohnungen. Dieser Ansatz ist besonders nützlich in Bereichen, in denen die Gestaltung einer Belohnungsfunktion schwierig ist, wie etwa in der Robotik oder bei Dialogsystemen. Ihre Arbeit in diesem Bereich wurde weithin zitiert und hat nachfolgende Forschung zu RLHF beeinflusst, einer Schlüsselkomponente beim Training moderner großer Sprachmodelle.
Interpretierbarkeit und Transparenz
Zhang hat auch bedeutende Beiträge zur Interpretierbarkeit im maschinellen Lernen geleistet. Sie entwickelte Methoden zur Visualisierung und zum Verständnis dessen, was neuronale Netze gelernt haben, insbesondere im Kontext von Agenten des bestärkenden Lernens. Ihre Arbeit zu "Salienzkarten" und "Konzeptaktivierungsvektoren" hilft Forschern zu identifizieren, welche Merkmale einer Eingabe den größten Einfluss auf die Entscheidung eines Modells haben. Diese Forschungsrichtung ist entscheidend für den Aufbau von Vertrauen in KI-Systeme, insbesondere in Hochrisikoanwendungen wie dem Gesundheitswesen oder dem autonomen Fahren.
In einem vielzitierten Papier führten Zhang und Kollegen "TCAV" (Testing with Concept Activation Vectors) ein, eine Technik, die quantifiziert, wie stark ein Konzept (z. B. "gestreift" oder "gepunktet") zur Vorhersage eines Modells beiträgt. Diese Methode ermöglicht es Nutzern, die Argumentation eines Modells in menschenverständlichen Begriffen zu untersuchen und geht über einfache Merkmalsattribution hinaus. Die Arbeit wurde von Industrieteams bei Google DeepMind und OpenAI zur Modellprüfung übernommen.
Menschenzentrierte KI
Zhangs Forschungsagenda ist ausdrücklich menschenzentriert: Sie entwirft KI-Systeme, die natürlich mit Menschen interagieren und aus deren Feedback lernen können. Sie hat untersucht, wie KI-Assistenten hilfreicher gemacht werden können, indem Nutzer Fehler über natürliche Sprache korrigieren oder gewünschtes Verhalten demonstrieren können. Dies umfasst Arbeiten zum interaktiven Lernen, bei dem sich ein Modell basierend auf Nutzereingaben im Laufe der Zeit verbessert, sowie zur Ausrichtung von KI-Zielen an menschlichen Präferenzen.
Eines ihrer Projekte, "Reward Learning from Human Preferences", zeigte, dass ein Roboter lernen kann, Aufgaben auszuführen, indem er Feedback von nicht-experten Nutzern erhält. In einer Nutzerstudie brachten Teilnehmer einem simulierten Roboter bei, zu navigieren und Objekte zu manipulieren, indem sie einfaches Ja/Nein-Feedback gaben. Die Ergebnisse zeigten, dass der Roboter mit minimalem menschlichem Aufwand effektiv lernen konnte, was einen praktischen Weg zu anpassbarer KI nahelegt.
Akademische Karriere und Lehre
Zhang trat 2021 als Assistenzprofessorin an der Paul G. Allen School of Computer Science & Engineering der University of Washington bei. Sie leitet das Human-Centered AI Lab, wo sie Doktoranden und Postdoktoranden betreut. Ihre Lehre umfasst Kurse zu bestärkendem Lernen sowie zu Fairness, Verantwortlichkeit und Transparenz im maschinellen Lernen. Sie hat mehrere Lehrpreise erhalten, darunter den UW College of Engineering Outstanding Teaching Award im Jahr 2023.
An MIT CSAIL und Stanford AI Lab hat sie eingeladene Vorträge zu ihrer Forschung gehalten. Sie ist außerdem assoziierte Fakultätsmitglied am UW Center for an Informed Public, wo sie die gesellschaftlichen Auswirkungen von KI untersucht, einschließlich Fehlinformationen und algorithmischer Verzerrung.
Industrieerfahrung
Vor ihrer akademischen Ernennung arbeitete Zhang von 2020 bis 2021 als Forschungswissenschaftlerin bei Meta AI. Bei Meta wandte sie ihr Fachwissen im bestärkenden Lernen an, um Empfehlungssysteme zu verbessern und Werkzeuge zur Erkennung schädlicher Inhalte zu entwickeln. Sie arbeitete auch mit Teams bei Anthropic an Sicherheitsforschung zusammen und trug zu frühen Arbeiten zur skalierbaren Überwachung bei.
Zhang war außerdem Forschungs-Praktikantin bei Google Brain und bei Berkeley AI Research (BAIR). Diese Erfahrungen gaben ihr eine breite Perspektive darauf, wie KI-Forschung in Produkte und Politik umgesetzt wird.
Auszeichnungen und Anerkennung
Zhang hat mehrere Ehrungen für ihre Arbeit erhalten. 2022 wurde sie von der AI2050-Initiative als Rising Star in AI ausgezeichnet. 2023 erhielt sie den NSF CAREER Award für ihr Projekt "Interactive and Interpretable Reinforcement Learning". Ihre Papiere haben Best-Paper-Auszeichnungen bei großen Konferenzen gewonnen, darunter die International Conference on Machine Learning (ICML) und die Conference on Neural Information Processing Systems (NeurIPS). Sie ist außerdem Empfängerin des Sloan Research Fellowship in Computer Science (2024).
Ausgewählte Veröffentlichungen
Zhang hat über 40 Papiere in erstklassigen Fachzeitschriften veröffentlicht. Einige ihrer am häufigsten zitierten Werke umfassen:
- "TCAV: Relative Concept Importance Testing" (ICML 2018) - führte eine Methode zur konzeptbasierten Interpretierbarkeit ein.
- "Learning by Playing: Solving Sparse Reward Tasks from Scratch" (ICML 2018) - schlug einen Lehrplan des Selbstspiels zur Erkundung vor.
- "Reward Learning from Human Preferences" (NeurIPS 2019) - demonstrierte praktisches präferenzbasiertes RL.
- "Interactive Learning from Policy-Dependent Human Feedback" (ICML 2020) - untersuchte, wie sich Feedback ändert, wenn sich der Agent verbessert.
Ihre Forschung wurde durch Zuschüsse der National Science Foundation, des Office of Naval Research und privater Stiftungen unterstützt.
Zukünftige Richtungen
Zhangs aktuelle Arbeit konzentriert sich darauf, große Sprachmodelle interpretierbarer und steuerbarer zu machen. Sie untersucht, wie man ehrliche Unsicherheit von Modellen hervorrufen kann und wie Nutzer das Modellverhalten ohne Nachschulung steuern können. Sie interessiert sich auch für Multi-Agenten-bestärkendes Lernen, bei dem mehrere KI-Systeme interagieren, und dafür, dass solche Systeme sicher und mit menschlichen Zielen im Einklang bleiben.
Ab 2025 lehrt und forscht Zhang weiterhin an der University of Washington. Ihre Beiträge haben dazu beigetragen, das aufstrebende Feld der menschenzentrierten KI zu formen und die Lücke zwischen technischem maschinellem Lernen und menschlichen Bedürfnissen zu überbrücken.