Jonathan Frankle ist ein Informatiker, der sich auf maschinelles Lernen und Deep Learning spezialisiert hat. Bekannt wurde er vor allem durch seine Forschung zur Sparsität neuronaler Netze, insbesondere durch die Lottery-Ticket-Hypothese, die er gemeinsam mit Michael Carbin am MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) entwickelte. Stand 2024 ist er als Chief Scientist bei MosaicML tätig, einem Unternehmen, das sich auf effizientes Training und die Bereitstellung von großen Sprachmodellen konzentriert.
Frankles Arbeit verbindet theoretische Erkenntnisse über neuronale Netze mit praktischen Systemen für generative KI. Seine Beiträge haben beeinflusst, wie Forscher und Ingenieure an die Modellkompression und ressourceneffiziente KI herangehen, ein Thema von wachsender Bedeutung in der Branche.
Frühes Leben und Ausbildung
Frankle schloss sein Grundstudium der Informatik an der Carnegie Mellon University im Jahr 2013 ab. Anschließend promovierte er am MIT CSAIL, wo er von Michael Carbin betreut wurde. Seine Doktorarbeit konzentrierte sich auf das Verständnis der internen Struktur trainierter neuronaler Netze, was 2018 zur Formulierung der Lottery-Ticket-Hypothese führte. Er promovierte im Jahr 2021.
Lottery-Ticket-Hypothese
Die Lottery-Ticket-Hypothese, die in einem 2018 gemeinsam mit Carbin veröffentlichten Paper eingeführt wurde, besagt, dass ein dichtes neuronales Netz ein Subnetzwerk enthält – ein „Gewinnlos“ –, das, wenn es isoliert trainiert wird, eine mit dem ursprünglichen Netzwerk vergleichbare Testgenauigkeit erreichen kann. Dieses Subnetzwerk wird durch einen iterativen Beschneidungsprozess identifiziert: das Netzwerk trainieren, die Gewichte mit dem kleinsten Betrag entfernen, die verbleibenden Gewichte auf ihre ursprünglichen Werte zurücksetzen und erneut trainieren. Die Hypothese stellte die herkömmliche Annahme in Frage, dass Beschneidung hauptsächlich der Effizienz zur Inferenzzeit dient, und zeigte, dass sparse Netze auch von Grund auf effektiv trainiert werden können.
Die Arbeit erregte große Aufmerksamkeit in der Künstliche-Intelligenz-Gemeinschaft, sowohl wegen ihrer Implikationen für das Verständnis als auch für die Optimierung neuronaler Netze. Sie legte nahe, dass Überparametrisierung beim Deep Learning weniger eine Frage der Kapazität, sondern vielmehr der Existenz vieler tragfähiger Subnetzwerke ist. Nachfolgende Forschung von Frankle und Mitarbeitern erweiterte die Idee auf komplexere Architekturen, einschließlich Transformatoren, und untersuchte die Rolle von Lernratenplänen und Gewichtsinitialisierung beim Auffinden dieser „Lose“.
Karriere bei MosaicML
Nach Abschluss seiner Promotion trat Frankle MosaicML bei, einem Startup, das 2021 von ehemaligen Intel- und Nvidia-Ingenieuren gegründet wurde, und übernahm die Rolle des Chief Scientist. Bei MosaicML leitete er Forschung zu effizienten Trainingsmethoden, einschließlich der Entwicklung der MosaicML-Streaming-Datenbibliothek und des Composer-Trainingsframeworks. Sein Team konzentrierte sich darauf, die Kosten und die Zeit für das Training großer Modelle zu reduzieren und sie so auch kleineren Organisationen zugänglich zu machen.
Im Jahr 2023 wurde MosaicML von Databricks für etwa 1,3 Milliarden US-Dollar übernommen. Frankle behielt seine Rolle als Chief Scientist auch nach der Übernahme bei und beaufsichtigte die Forschung zur Modelloptimierung sowie die Veröffentlichung von Open-Source-Modellen wie MPT-7B und MPT-30B. Diese Modelle zeichneten sich durch eine wettbewerbsfähige Leistung im Vergleich zu OpenAIs GPT-3 aus, benötigten jedoch weniger Rechenressourcen.
Forschungsbeiträge
Über die Lottery-Ticket-Hypothese hinaus hat Frankle zu mehreren Bereichen der Forschung im maschinellen Lernen beigetragen. Seine Arbeit zur „linearen Modusverbindung“ (Linear Mode Connectivity) untersuchte, wie unabhängig trainierte Modelle im Gewichtsraum interpoliert werden können, was Einblicke in die Verlustlandschaft tiefer Netze gewährte. Er untersuchte auch die Auswirkungen der Datenreihenfolge und der Batch-Normalisierung auf die Trainingsdynamik.
Frankle setzt sich für die Reproduzierbarkeit in der KI-Forschung ein, indem er detaillierte experimentelle Protokolle veröffentlicht und den Code seiner Studien offen zugänglich macht. Seine Arbeiten erschienen auf wichtigen Konferenzen wie NeurIPS, ICML und ICLR, und er war als Gutachter für diese Veranstaltungen tätig.
Wirkung und Anerkennung
Frankles Forschung wurde in der Literatur zum Deep Learning umfassend zitiert; das Paper zur Lottery-Ticket-Hypothese erhielt tausende Zitationen. Seine Ideen haben praktische Werkzeuge zur Modellkompression beeinflusst, wie etwa Beschneidungsbibliotheken in Frameworks wie PyTorch und TensorFlow. Praktiker in der Industrie, etwa bei Unternehmen wie Google DeepMind und Anthropic, haben sich in Diskussionen über effizientes Modelldesign auf seine Arbeit bezogen.
Im weiteren Kontext der generativen KI steht Frankles Fokus auf Effizienz im Einklang mit Bemühungen, den Zugang zu großen Modellen zu demokratisieren. Seine Arbeit bei MosaicML trug zum Trend der Open-Weight-Modelle bei, die einen Gegensatz zu den proprietären Ansätzen großer Labore darstellen. Stand 2024 ist er weiterhin aktiv in seinem Fachgebiet, hält Vorträge auf Konferenzen und beteiligt sich an der öffentlichen Diskussion über nachhaltige KI-Entwicklung.
Ausgewählte Veröffentlichungen
- „The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks“ (mit Michael Carbin, 2019)
- „Linear Mode Connectivity and the Lottery Ticket Hypothesis“ (mit Gundappa Sahu et al., 2020)
- „Stabilizing the Lottery Ticket Hypothesis“ (mit Gundappa Sahu et al., 2020)
- „MosaicML: Efficient Training of Large Language Models“ (technischer Bericht, 2023)
Referenzen
Seine Arbeit ist in akademischen Papieren und technischen Berichten dokumentiert, die über arXiv und Konferenzbände verfügbar sind. Interviews und Porträts über ihn sind in Technologie-Medien erschienen, in denen seine Beiträge zur effizienten KI diskutiert werden.