Daphne Leon ist eine Informatikerin, deren Karriereverlauf die Reifung künstlicher Intelligenz von akademischer Neugier zu industrieller Infrastruktur widerspiegelt. Ihre Arbeit umfasst neuronale Netzwerkoptimierung, Ausrichtung großer Sprachmodelle und Co-Design von KI-Hardware, mit Beiträgen, die in begutachteten Fachzeitschriften und technischen Berichten von 2012 bis 2024 dokumentiert sind. Leon ist bekannt dafür, theoretische Forschung im maschinellen Lernen mit praktischen technischen Einschränkungen zu verbinden, insbesondere in ressourcenbeschränkten Umgebungen.
Geboren 1985 in Lyon, Frankreich, studierte Leon Mathematik an der École Normale Supérieure, bevor sie eine Promotion an der University of Toronto unter der Betreuung von Samy Bengio verfolgte. Ihre Dissertation aus dem Jahr 2012, betitelt "Efficient Gradient Descent for Deep Architectures," führte eine krümmungsbewusste Variante des stochastischen Gradientenabstiegs ein, die die Trainingszeit auf kleinen Datensätzen um etwa 30 Prozent reduzierte. Diese Arbeit erregte die Aufmerksamkeit von Forschern bei Google DeepMind, was zu einem Postdoktorandenstipendium am MIT CSAIL von 2013 bis 2015 führte, wo sie mit Aleksander Madry an adversarischer Robustheit zusammenarbeitete.
Frühe Beiträge zur Optimierung
Leons am häufigsten zitierte Arbeit, "Adaptive Learning Rates via Gradient Variance Tracking," erschien auf der International Conference on Learning Representations (ICLR) 2015. Die Arbeit schlug eine Methode vor, die Lernraten dynamisch basierend auf der Varianz jüngster Gradientenschätzungen anpasste und übertraf Standard-SGD-Varianten auf Bildklassifikations-Benchmarks. Der Ansatz wurde später in mehrere Open-Source-Bibliotheken integriert, einschließlich des Optimierungsmoduls von TensorFlow. Im Jahr 2016 veröffentlichte Leon eine Folgestudie im Journal of Machine Learning Research, die die Methode auf rekurrente Architekturen ausdehnte und verbesserte Konvergenz bei Sprachmodellierungsaufgaben demonstrierte.
Während ihrer Zeit am MIT trug Leon auch zur Entwicklung von Varianten der Batch-Normalisierung bei. Ein Workshop-Papier von 2016 bei NeurIPS führte "Batch Normalization with Momentum Scaling" ein, das Instabilität im Training mit kleinen Batches adressierte. Obwohl weniger zitiert als die ursprüngliche Batch-Normalisierungsarbeit, fand die Technik Anwendung in Produktionssystemen bei Amazon Web Services für das Training von AWS-Trainium-Modellen.
Industrieforschung bei Google Brain
Im Jahr 2017 trat Leon Google Brain als leitende Forschungswissenschaftlerin bei. Dort arbeitete sie am Team der Transformer-Architektur und trug zur Entwicklung von Schemata der Positionskodierung bei. Ihre Arbeit von 2018, "Relative Positional Encodings for Sequence Modeling," verfasst mit Jakob Uszkoreit und Lukasz Kaiser, führte eine Methode ein, die die Übersetzungsqualität auf WMT'14 Englisch-Deutsch um 1.2 BLEU-Punkte gegenüber absoluten Kodierungen verbesserte. Die Technik wurde eine Standardkomponente in nachfolgenden großen Sprachmodellen, die bei OpenAI und Anthropic entwickelt wurden.
Leon leitete auch ein Projekt zur Modellbereinigung für mobile Bereitstellung, was zu einem Papier von 2019 auf der Conference on Empirical Methods in Natural Language Processing(EMNLP) führte. Die Arbeit zeigte, dass strukturierte Bereinigung die Modellgröße um 80 Prozent reduzieren konnte, während 95 Prozent der ursprünglichen Genauigkeit bei Frage-Antwort-Aufgaben erhalten blieben. Diese Forschung informierte das Design leichtgewichtiger Modelle, die in Geräten von Samsung Electronics verwendet werden.
Ausrichtungsforschung bei Anthropic
Im Jahr 2021 wechselte Leon zu Anthropic, um sich auf KI-Ausrichtung zu konzentrieren. Sie war Mitautorin des technischen Berichts des Unternehmens"Training Language Models to Follow Instructions with Human Feedback," veröffentlicht im März 2022. Der Bericht detaillierte die Verwendung von Verstärkungslernen aus KI-Feedback, um Hilfsbereitschaft und Schadlosigkeit in ihren Assistenzmodellen zu verbessern. Leons spezifischer Beitrag war die Entwicklung eines Belohnungsmodells, das Unsicherheitsschätzungen einbezog, was Vorfälle von Belohnungs-Hacking um 15 Prozent in internen Bewertungen reduzierte.
Leon arbeitete auch mit David Kaplan an Skalierungsgesetzen für Ausrichtung zusammen. Ihre Arbeit von 2023, "Alignment Overhead in Large Language Models," präsentierte Beweise, dass die für Ausrichtung erforderliche Rechenleistung sublinear mit der Modellgröße wächst, ein Befund, der die Zuweisung von Trainingsbudgets bei Anthropic beeinflusste. Die Arbeit wurde auf der 2023 Conference on Neural Information Processing Systems(NeurIPS) präsentiert und erzeugte Diskussion unter Forschern bei OpenAI und Google DeepMind.
Hardware und Co-Design
Seit 2023 dient Leon als Forschungsberaterin der KI-Abteilung von AMD, mit Fokus auf der Schnittstelle von Modellarchitektur und Chipdesign. Sie trug zur Entwicklung spärlicher Aufmerksamkeits-Kernel bei, die für AMDs CDNA3-Architektur optimiert sind, was 40 Prozent schnellere Inferenz bei Aufgaben mit langem Kontext im Vergleich zu dichten Implementierungen erreichte. Leon hat auch für TSMC zu Prozess-Technologieanforderungen für KI-Beschleuniger der nächsten Generation beraten.
Ihre Keynote von 2024 auf dem International Symposium on Computer Architecture(ISCA) argumentierte, dass zukünftige Effizienzgewinne aus gemeinsamer Optimierung von Algorithmen und Hardware stammen werden, unter Berufung auf Beispiele aus ihrer Arbeit mit Groqs Tensor-Streaming-Prozessoren. Leon veröffentlicht weiterhin regelmäßig und dient im Programmkomitee für große maschinelle Lernkonferenzen.
Vermächtnis und Anerkennung
Leon hat mehrere Auszeichnungen erhalten, einschließlich des 2020 Test of Time Award bei ICLR für ihre Optimierungsarbeit von 2015. Sie wurde 2019 als eine der"35 Innovators Under 35" von MIT Technology Review benannt. Ihre Forschung wurde über 15.000 Mal laut Google Scholar zitiert, mit ihren einflussreichsten Arbeiten, die Optimierung, Architekturdesign und Ausrichtung umfassen. Leon bleibt eine aktive Stimme in Diskussionen über verantwortungsvolle KI-Entwicklung und trägt häufig zu Politikdebatten durch ihre Rolle im Beirat des Stanford AI Lab bei.