Aakanksha Chowdhery ist eine Informatikerin, die für ihre Arbeiten zu maschinellem Lernen und drahtlosen Kommunikationssystemen bekannt ist. Sie ist vor allem als Hauptautorin des Artikels von 2022 bekannt, in dem das Pathways Language Model (PaLM), ein Large-Language-Modell von Google DeepMind, vorgestellt wurde. Ihre Forschung umfasst effiziente Deep-Learning-Architekturen, verteilte Systeme und Netzwerke mit Anwendungen im Cloud- und Edge-Computing.
Chowdherys Karriere verband akademische Forschung mit industrieller Praxis. Sie promovierte an der Stanford University, wo sich ihre Dissertation auf Netzwerkoptimierung und drahtlose Systeme konzentrierte. Anschließend trat sie Google Research bei, wo sie an Projekten zur Verbesserung der Skalierbarkeit und Effizienz von neuralen Netzen arbeitete. Ihre Arbeit an PaLM, das 540 Milliarden Parameter umfasste, zeigte bedeutende Fortschritte bei Few-Shot-Lernaufgaben und logischem Denken und beeinflusste nachfolgende Entwicklungen im Bereich der generativen KI.
Frühes Leben und Ausbildung
Chowdhery wurde in Indien geboren und absolvierte ihr Grundstudium in Elektrotechnik am Indian Institute of Technology (IIT) Delhi, das sie 2007 abschloss. Anschließend zog sie in die Vereinigten Staaten für ihr Graduiertenstudium und erwarb einen Master-Abschluss sowie einen Doktortitel in Elektrotechnik an der Stanford University in den Jahren 2012 bzw. 2015. In Stanford arbeitete sie unter der Leitung von Professoren im Informationssystemlabor, wo sie sich auf die Optimierung von drahtlosen Netzwerken und verteilten Algorithmen konzentrierte.
Ihre Doktorarbeit befasste sich mit der Ressourcenzuweisung und Interferenzverwaltung in heterogenen Netzwerken. Diese Arbeit legte den Grundstein für ihr späteres Interesse an der Anwendung von Optimierungstechniken auf maschinelle Lernaufgaben, insbesondere in verteilten und ressourcenbeschränkten Umgebungen.
Karriere bei Google und PaLM
Chowdhery trat 2015 als Forscherin Google Research bei. Ihre frühen Arbeiten bei Google konzentrierten sich auf die Verbesserung der Effizienz von Deep-Learning-Modellen für On-Device-Anwendungen, darunter Spracherkennung und Bildklassifizierung. Sie trug zur Entwicklung von Techniken zur Modellkompression und Quantisierung bei, die für den Einsatz von neuronalen Netzen auf Mobil- und eingebetteten Geräten entscheidend sind.
Im Jahr 2021 wurde sie Hauptautorin des PaLM-Projekts, einer groß angelegten Initiative zum Training eines Transformer-basierten Sprachmodells mit 540 Milliarden Parametern. Das im April 2022 veröffentlichte PaLM-Papier berichtete über Spitzenergebnisse bei zahlreichen Benchmarks, darunter Code-Generierung, Übersetzung und logisches Denken. Die Fähigkeit des Modells, Few-Shot-Lernen mit Chain-of-Thought-Prompting durchzuführen, war ein bemerkenswerter Höhepunkt. Chowdherys Rolle umfasste die Koordination eines Teams von Forschern und Ingenieuren, das Design der Trainingsinfrastruktur sowie die Bewältigung von Herausforderungen im Zusammenhang mit Modellbereinigung und Gradienten-Clipping, um ein stabiles Training zu gewährleisten.
Das PaLM-Modell wurde später in Googles Produktangebote integriert, und seine Architektur beeinflusste nachfolgende Modelle wie PaLM 2 und Gemini. Chowdherys Beiträge wurden weithin zitiert und etablierten sie als prominente Persönlichkeit in der Forschungsgemeinschaft für Large-Language-Modelle.
Forschungsbeiträge
Über PaLM hinaus hat Chowdhery umfangreich zu Themen wie Multi-Head-Attention, Positionskodierung und effizienten Trainingsalgorithmen publiziert. Sie hat den Einsatz von Curriculum-Lernen und Lernraten-Schemata zur Verbesserung der Konvergenz in großen Modellen erforscht. Ihre Arbeit betont oft die praktische Anwendung und überbrückt die Kluft zwischen maschinellem Lernen und realen Systemen.
Sie hat außerdem die Schnittstelle zwischen drahtloser Vernetzung und KI untersucht und Methoden für verteilte Inferenz am Netzwerkrand vorgeschlagen. Dazu gehört die Forschung zu Datenerweiterung und Batch-Normalisierung in föderierten Lernumgebungen, bei denen Daten auf lokalen Geräten verbleiben. Ihr interdisziplinärer Ansatz wurde mit mehreren Best-Paper-Auszeichnungen bei Konferenzen wie IEEE INFOCOM und ACM MobiCom gewürdigt.
Auszeichnungen und Anerkennung
Chowdhery hat zahlreiche Ehrungen erhalten, darunter den Google Research Award und ein Stanford Graduate Fellowship. Im Jahr 2016 wurde sie vom MIT als Rising Star in Electrical Engineering and Computer Science ausgezeichnet. Ihre Arbeit an PaLM wurde in großen Technologiepublikationen vorgestellt, und sie war als Gastrednerin bei Konferenzen wie NeurIPS und ICML eingeladen.
Spätere Karriere und Wirkung
Seit 2024 arbeitet Chowdhery weiterhin auf diesem Gebiet, hat sich jedoch von Google unabhängig gemacht und verfolgt nun eigene Forschungs- und Beratungsprojekte. Sie engagiert sich für Initiativen zur Demokratisierung des Zugangs zu künstlicher Intelligenz, insbesondere für Bildungs- und Gesundheitsanwendungen. Ihre Erkenntnisse zur Skalierung von Transformer-Modellen haben die Praktiken von Unternehmen wie OpenAI und Anthropic beeinflusst, die auf den architektonischen Innovationen von PaLM aufbauen.
Chowdherys Vermächtnis liegt in ihrer Fähigkeit, rigorose theoretische Analysen mit groß angelegtem Ingenieurwesen zu verbinden. Ihre Arbeit hat dazu beigetragen, die moderne Landschaft der generativen KI zu formen und große Modelle zugänglicher und effizienter zu machen. Sie bleibt eine einflussreiche Stimme in Diskussionen über verantwortungsvolle KI-Entwicklung und die Zukunft des Deep Learnings.
Ausgewählte Publikationen
- Chowdhery, A. et al. (2022). „PaLM: Scaling Language Modeling with Pathways.“ arXiv preprint arXiv:2204.02311.
- Chowdhery, A. et al. (2019). „Efficient On-Device Training with Gradient Filtering.“ Proceedings of the 36th International Conference on Machine Learning (ICML).
- Chowdhery, A. et al. (2016). „Cross-Layer Optimization for Wireless Networks.“ IEEE Transactions on Information Theory.
Diese Publikationen unterstreichen ihre doppelte Expertise in Systemen und Algorithmen, eine Kombination, die im Bereich der künstlichen Intelligenz nach wie vor selten und wertvoll ist.