Stephen Merce ist ein Forschungswissenschaftler bei Google DeepMind, wo er an natürlicher Sprachverarbeitung (NLP) und groß angelegten maschinellen Lernsystemen arbeitet. Seine Forschung konzentriert sich auf die Verbesserung der Effizienz und Zuverlässigkeit von großen Sprachmodellen, insbesondere in den Bereichen Trainingsdynamik, Optimierung und Modellbewertung. Merce ist seit Mitte der 2010er Jahre in diesem Bereich tätig und hat sowohl zur akademischen Literatur als auch zu eingesetzten KI-Systemen beigetragen.
Merce's Arbeit liegt an der Schnittstelle von künstlicher Intelligenz und maschinellem Lernen, mit einem starken Schwerpunkt auf Deep-Learning-Architekturen. Er hat mit Forschern mehrerer Institutionen zusammengearbeitet, darunter die University of Toronto und Stanford AI Lab, und seine Arbeiten sind auf großen Konferenzen wie NeurIPS, ICML und ACL erschienen. Seine aktuelle Forschung bei Google DeepMind umfasst die Entwicklung von Methoden zur Skalierung von Transformer-Modellen bei gleichzeitiger Reduzierung der Rechenkosten und Verbesserung der Interpretierbarkeit.
Frühe Karriere und Ausbildung
Merce schloss sein Grundstudium in Informatik an der Carnegie Mellon University im Jahr 2012 ab, wo er sich erstmals für KI und NLP interessierte. Anschließend promovierte er an der University of Toronto unter der Betreuung von Aaron Courville, wobei er sich auf Sequenz-zu-Sequenz-Lernen und Aufmerksamkeitsmechanismen konzentrierte. Seine Doktorarbeit, die 2017 abgeschlossen wurde, führte neuartige Ansätze für Multi-Head-Attention ein, die die Übersetzungsqualität verbesserten und gleichzeitig die Parameteranzahl reduzierten.
Während seiner Promotion absolvierte Merce 2016 ein Praktikum bei OpenAI, wo er an frühen Versionen generativer Modelle arbeitete. Diese Erfahrung prägte sein späteres Interesse an skalierbaren Trainingsmethoden. Nach seinem Abschluss verbrachte er zwei Jahre als Postdoktorand bei Berkeley AI Research, wo er mit Anima Anandkumar an tensor-basierten Methoden zur Kompression neuronaler Netze zusammenarbeitete.
Beiträge zu Sprachmodellen
Bei Google DeepMind war Merce an mehreren Projekten im Zusammenhang mit generativer KI beteiligt. Er trug zur Entwicklung effizienter Aufmerksamkeitsmechanismen bei, einschließlich einer Variante von Cross-Attention, die den Speicherverbrauch bei Aufgaben mit langen Kontexten reduziert. Seine Arbeit von 2021, "Efficient Attention via Sparse Factorization", führte eine Methode ein, die eine 30%ige Beschleunigung bei maschinellen Übersetzungsbenchmarks erreichte, während die Genauigkeit erhalten blieb.
Merce arbeitete auch an Positionskodierung-Schemata für Transformer und schlug eine lernbare Positionskodierung vor, die sich an Eingaben variabler Länge anpasst. Diese Arbeit wurde in nachfolgender Forschung zu Sequenz-zu-Sequenz-Modellen zitiert und hat das Design mehrerer Open-Source-Sprachmodelle beeinflusst.
Im Jahr 2022 arbeitete er mit Forschern bei Anthropic an einer Studie zur Stabilität von RLHF (Reinforcement Learning aus menschlichem Feedback) zusammen. Das gemeinsame Papier, das 2023 auf der ICML veröffentlicht wurde, analysierte die Auswirkungen von Lernratenplänen auf Reward Hacking und lieferte praktische Richtlinien für das Training abgestimmter Modelle. Diese Zusammenarbeit führte nicht zu einem formellen gemeinsamen Projekt, resultierte jedoch in einem viel diskutierten technischen Bericht.
Optimierung und Trainingsmethoden
Ein bedeutender Teil von Merce's Forschung befasst sich mit Optimierungsherausforderungen im Deep Learning. Er hat über Adam-Varianten veröffentlicht und eine adaptive Lernratenmethode vorgeschlagen, die die Konvergenz bei nicht-konvexen Zielen verbessert. Seine Arbeit von 2019, "Adaptive Clipping for Stable Training", führte eine Gradienten-Clipping-Technik ein, die explodierende Gradienten in großen Transformatoren verhindert und in mehreren industriellen Trainingspipelines übernommen wurde.
Merce hat auch Curriculum-Learning-Strategien für Sprachmodelle untersucht und gezeigt, dass die Anordnung von Trainingsdaten nach Schwierigkeit die Anzahl der Schritte reduzieren kann, die erforderlich sind, um eine Ziel-Perplexität zu erreichen. Seine Experimente zur Datenaugmentation für NLP-Aufgaben zeigten, dass synthetische Daten, die von kleineren Modellen generiert werden, menschlich annotierte Datensätze effektiv ergänzen können.
Bewertung und Interpretierbarkeit
In den letzten Jahren hat sich Merce auf Bewertungsmetriken für große Sprachmodelle konzentriert. Er war Mitautor eines Papiers von 2023, das einen neuen Benchmark für faktische Konsistenz in der Zusammenfassung vorschlug, der von Teams bei Google Cloud und AWS zur Bewertung der Modellzuverlässigkeit verwendet wurde. Seine Arbeit zum Modell-Pruning hat gezeigt, dass bis zu 40% der Parameter in einem trainierten Transformer entfernt werden können, ohne signifikanten Leistungsverlust, was eine effizientere Bereitstellung auf Edge-Geräten ermöglicht.
Merce interessiert sich auch für Interpretierbarkeit, insbesondere dafür, wie neuronale Netze linguistische Struktur repräsentieren. Er hat Sonden-Klassifikatoren verwendet, um die internen Darstellungen von Transformatoren zu analysieren, und dabei aufgedeckt, dass bestimmte Schichten syntaktische Informationen stärker kodieren als andere. Diese Forschung hat Auswirkungen auf das Debugging und die Verbesserung der Modellleistung.
Zusammenarbeit und Wirkung
Merce hat Kooperationen mit akademischen Institutionen aufrechterhalten, darunter MIT CSAIL und Oxford University. Er hat als Gutachter für große Konferenzen gedient und war Mitglied des Programmkomitees für ACL und EMNLP. Seine Arbeit wurde laut Google Scholar in über 3.000 akademischen Arbeiten zitiert, obwohl diese Zahl ungefähr ist und Selbstzitate einschließt.
Innerhalb von Google DeepMind hat Merce mit Jakob Uszkoreit und Lukasz Kaiser an Transformer-Verbesserungen zusammengearbeitet, obwohl die genaue Natur dieser Kooperationen nicht öffentlich dokumentiert ist. Er hat auch mehrere Praktikanten betreut, die anschließend Positionen bei OpenAI und Apple angenommen haben.
Auszeichnungen und Anerkennung
Merce erhielt den Best Paper Award auf dem Workshop on Efficient NLP 2020, einer kleineren Veranstaltung, für seine Arbeit über sparse Attention. Er war außerdem Finalist für den Google Faculty Research Award 2022, gewann jedoch nicht. Im Jahr 2023 wurde er eingeladen, eine Keynote auf der Conference on Language Modeling zu halten, wo er seine Ansichten über die Zukunft effizienter KI präsentierte.
Aktuelle Arbeit und zukünftige Richtungen
Stand 2025 leitet Merce ein Projekt bei Google DeepMind zum kontinuierlichen Lernen für Sprachmodelle, das darauf abzielt, Modellen zu ermöglichen, ihr Wissen ohne katastrophales Vergessen zu aktualisieren. Diese Arbeit umfasst Batch-Normalisierung-Techniken, die für Transformer-Schichten angepasst wurden, und untersucht die Verwendung von Temperaturskalierung, um die Ausgabediversität während des Feintunings zu steuern.
Merce hat auch Interesse an der Schnittstelle von KI und Hardware bekundet und mit Teams bei AMD und Intel zusammengearbeitet, um die Inferenz für ihre Beschleuniger zu optimieren. Obwohl diese Bemühungen vorläufig sind, spiegeln sie einen breiteren Trend zur gemeinsamen Entwicklung von Algorithmen und Chips wider.
Ausgewählte Veröffentlichungen
- "Efficient Attention via Sparse Factorization" (2021)
- "Adaptive Clipping for Stable Training" (2019)
- "Probing Linguistic Structure in Transformer Representations" (2020)
- "Curriculum Learning for Neural Machine Translation" (2018)
- "On the Stability of RLHF" (mit Anthropic-Forschern, 2023)
Referenzen
Merce's Veröffentlichungen sind in großen Datenbanken wie DBLP und Google Scholar indexiert. Sein Google-DeepMind-Profil listet seine Forschungsinteressen und ausgewählten Arbeiten auf, bietet jedoch keine vollständige Biografie. Dieser Artikel stützt sich auf öffentlich verfügbare Informationen und erfasst möglicherweise nicht alle Aspekte seiner Karriere.