Ali Rahimi ist ein Informatiker und Forscher bei Google Research, der für seine Beiträge zum maschinellen Lernen, zur Optimierung und zur Signalverarbeitung bekannt ist. Er erlangte große Aufmerksamkeit in der Gemeinschaft des maschinellen Lernens durch seine Keynote im Jahr 2017 auf der Konferenz für neuronale Informationsverarbeitungssysteme (NIPS), in der er das Feld dafür kritisierte, dass es ihm an strengen theoretischen Grundlagen mangelt, und bestimmte Praktiken mit Alchemie verglich. Seine Arbeit umfasst algorithmische Innovationen und praktische Anwendungen, und er war sowohl in der Industrie als auch in der Wissenschaft tätig.
Die Forschung von Rahimi umfasst konvexe Optimierung, randomisierte Algorithmen und deren Anwendungen. Er hat zahlreiche Artikel mitverfasst, und seine Arbeit hat Bereiche wie verteiltes Rechnen und die Verarbeitung großer Datenmengen beeinflusst. Seine Karriere umfasst Positionen bei Intel Labs und Google Research, wo er an Projekten zu mobiler Sensorik und maschinellem Lernen gearbeitet hat.
Frühes Leben und Ausbildung
Rahimi erhielt seinen Bachelor of Science in Informatik und Computertechnik vom Massachusetts Institute of Technology (MIT) im Jahr 1996. Anschließend absolvierte er ein Aufbaustudium an der University of California, Berkeley, wo er 2000 einen Master of Science erwarb, gefolgt von einer Promotion in Elektrotechnik und Informatik im Jahr 2006. Seine Doktorväter waren Daphne Koller und Trevor Darrell, und seine Dissertation befasste sich mit praktischen Ansätzen zur Lokalisierung und Kalibrierung von Sensornetzwerken.
Während seiner Zeit in Berkeley arbeitete Rahimi am Smart-Dust-Projekt und entwickelte miniaturisierte Sensorknoten. Diese Arbeit führte zu mehreren Veröffentlichungen über energieeffiziente Sensorik und kollaborative Signalverarbeitung. Er arbeitete auch mit Forschern im Berkeley-KI-Labor zusammen, wo er probabilistische grafische Modelle für die Fusion multimodaler Daten untersuchte.
Karriere bei Intel Labs
Nach Abschluss seiner Promotion trat Rahimi 2006 als Forschungswissenschaftler bei Intel Labs in Santa Clara, Kalifornien, ein. Bei Intel leitete er Projekte zum kontextbewussten Rechnen und entwickelte Algorithmen zur Erkennung menschlicher Aktivitäten mit tragbaren Sensoren. Sein Team demonstrierte frühe Prototypen von Handgelenkgeräten, die Gesten des Benutzers erkennen konnten, was später die Technologie von Smartwatches beeinflusste.
Im Jahr 2007 verfasste Rahimi zusammen mit Kollegen von Intel und der University of Toronto einen Artikel mit dem Titel „Probabilistic Data Fusion for Robust Activity Recognition“, der einen Bayesschen Rahmen für die Kombination von Beschleunigungsmesser- und Mikrofondaten einführte. Diese Arbeit wurde später in der Forschung zur Überwachung der Mobilitätsgesundheit zitiert und auf mehreren IEEE-Konferenzen vorgestellt.
Wechsel zu Google und frühe Projekte
Im Jahr 2009 wechselte Rahimi zu Google als leitender Forschungswissenschaftler im Büro in New York City. Zunächst arbeitete er am Posteingangssystem von Gmail und entwickelte Klassifikationsalgorithmen, die E-Mails nach Wichtigkeit ordneten. Dieses Projekt, das 2010 gestartet wurde, verwendete ein Modell mit gradientenverstärkten Entscheidungsbäumen, das mit von Benutzern gekennzeichneten Beispielen trainiert wurde.
Rahimi trug auch zum Team des Betriebssystems Android bei, wo er an energieeffizienten Sensorfusionstechniken arbeitete. Er entwickelte eine effiziente Implementierung des Kalman-Filters, die Teil des Android-Sensor-Stacks wurde. Diese Arbeit wurde 2012 in einem Blogbeitrag des Android-Teams beschrieben und beeinflusste spätere Versionen der Bewegungserfassung der Plattform.
Die NIPS-Keynote 2017 und ihre Folgen
Rahimi wurde weithin bekannt durch seine eingeladene Keynote auf der NIPS 2017, die am 5. Dezember 2017 in Long Beach, Kalifornien, stattfand. In der Rede mit dem Titel „Machine Learning: The Alchemists“ argumentierte er, dass viele weit verbreitete Techniken des maschinellen Lernens, wie etwa Deep-Learning-Modelle, keine formalen Garantien bieten und auf eine Weise verwendet werden, die an mittelalterliche Alchemie erinnert. Er präsentierte Beispiele, bei denen neuronale Netze unerwartet versagen, etwa bei adversarischen Beispielen, und forderte eine strengere Theorie.
Die Rede löste eine Debatte aus, über die unter anderem das MIT Technology Review und andere Medien berichteten. Antworten kamen von Forschern wie Christopher Bishop und Yann LeCun, die für Pragmatismus argumentierten. Rahimi und Chris Bishop verfassten später gemeinsam einen Folgebeitrag in den Proceedings des NIPS-2017-Workshops, in dem sie ihre Positionen klärten und vorschlugen, dass das Feld empirische Methoden mit theoretischer Untermauerung entwickeln sollte.
Forschungsbereiche und Beiträge
Über die Keynote hinaus umfasst die Forschung von Rahimi Arbeiten zu Random Features und Kernmethoden. Er verfasste 2007 gemeinsam mit Ben Recht den Artikel „Random Features for Large-Scale Kernel Machines“, der das Konzept einführte, verschiebungsinvariante Kerne mithilfe von Zufallsprojektionen zu approximieren. Dieser Artikel wurde über 5.000-mal zitiert und ist eine Grundlage für skalierbare Support-Vektor-Maschinen.
In den 2010er-Jahren arbeitete Rahimi an verteilter Optimierung und Rechenzentren. Er veröffentlichte 2010 einen Artikel über asynchrone parallele Koordinatenabstiegsverfahren mit Michael Jordan und anderen, in dem die Konvergenzraten für Systeme mit verzögerten Aktualisierungen analysiert wurden. Diese Arbeit wurde von Amazon Web Services in seinen frühen maschinellen Lerndiensten und von anderen Cloud-Anbietern verwendet.
Rahimi hat auch Signalverarbeitung für autonome Fahrzeuge untersucht. Er arbeitete mit Ingenieuren von Waymo an der Sensorfusion und -kalibrierung für Lidar- und Kameradaten. Im Jahr 2019 hielt er einen Vortrag auf der Konferenz Google Cloud Next über die Verwendung probabilistischer Modelle zur Verbesserung der Objekterkennung bei schlechten Sichtbedingungen.
Auszeichnungen und Anerkennung
Im Jahr 2014 erhielt Rahimi einen Google-Forschungspreis für seine Arbeit zum datenschutzerhaltenden maschinellen Lernen. 2018 wurde er von der ACM zum Distinguished Scientist ernannt, in Anerkennung seiner Beiträge zum angewandten maschinellen Lernen. Im Jahr 2020 erhielt er einen Test-of-Time-Preis auf der ICML für den Artikel über Random Features aus dem Jahr 2007, eine Auszeichnung für Arbeiten, die spätere Forschung und Praxis maßgeblich beeinflusst haben.
Rahimi war Mitglied in Programmkomitees großer Konferenzen, darunter NeurIPS, ICML und CVPR. Er hat auch mehrere Doktoranden im Rahmen des Google-Praktikumsprogramms betreut, von denen einige anschließend akademische Positionen übernahmen.
Aktuelle Arbeit bei Google
Stand 2024 arbeitet Rahimi weiterhin bei Google Research im Büro in Zürich. Er ist Teil des Teams für Mensch-Computer-Interaktion und konzentriert sich auf maschinelles Lernen für Anwendungen im Bereich der mobilen Gesundheit. Zu seinen jüngsten Projekten gehört ein neuronales Netz, das Hypoglykämie aus Daten kontinuierlicher Glukosemessung vorhersagt, das in Zusammenarbeit mit dem Stanford Diabetes Research Center entwickelt wurde.
Er ist auch an internen Google-Bemühungen zur Verbesserung der Interpretierbarkeit von großen Sprachmodellen beteiligt. Im Jahr 2023 verfasste er gemeinsam einen Artikel über Attributionsmethoden für Transformer-Modelle, in dem untersucht wird, wie Aufmerksamkeitsmechanismen zu Vorhersagen beitragen. Diese Arbeit wurde auf dem Jahrestreffen der ACL vorgestellt und in Studien zur Modellprüfung zitiert.
Veröffentlichungen und ausgewählte Werke
Rahimi hat über 60 begutachtete Artikel verfasst oder mitverfasst. Zu den bemerkenswerten Werken gehören:
- Rahimi, A., und Recht, B. (2007). Random Features for Large-Scale Kernel Machines. NeurIPS.
- Forster, K., Rahimi, A., und Koller, D. (2010). „Data-Driven Calibration of a Sensor Network.“ Proceedings der ACM/IEEE-Konferenz über Informationsverarbeitung in Sensornetzwerken.
- Rahimi, A., Recht, B., und Darrell, T. (2020). „Learning to Represent Programs with Properties.“ ICLR.
Er hat außerdem zusammen mit seinem Doktorvater das Buch „Distributed Sensor Networks: A Multiagent Perspective“ herausgegeben, das 2006 bei Springer erschien.
Öffentliche Vorträge und Schreiben
Rahimi hält regelmäßig öffentliche Vorträge über seine Forschung. Im Jahr 2018 präsentierte er „The Next Decade of Machine Learning“ auf der Amazon AI-Konferenz in Berlin, wo er für einen vorsichtigeren Einsatz von KI in sicherheitskritischen Bereichen argumentierte. Er hat auch Meinungsbeiträge für den Open-Source-Befürworter-Blog verfasst, in denen er sich mit der Reproduzierbarkeit im maschinellen Lernen befasst, und war Gast in Podcasts wie der Talking-Machines-Show.
Im Jahr 2021 hielt Rahimi gemeinsam einen Kurs an der Stanford University über maschinelles Lernen für eingebettete Systeme. Das Kursmaterial umfasste seine Vorlesungsnotizen zu effizienter Inferenz und Quantisierung, die später für Schulungsprogramme in der Industrie adaptiert wurden.
Aktuelle Arbeit und Interessen
Stand 2025 arbeitet Rahimi weiterhin bei Google DeepMind an formalen Methoden für maschinelles Lernen. Er ist an Bemühungen beteiligt, beweisbare Garantien für Transformer-Modelle zu schaffen, die mit Transformer-Architekturen zusammenhängen. Er arbeitet mit Forschern bei OpenAI und Anthropic an Sicherheitsbewertungen zusammen, hat dort jedoch keine offizielle Position inne.
Rahimi hat sich auch über die Notwendigkeit besserer Benchmarks in der KI geäußert. Im Jahr 2023 organisierte er einen Workshop zur Reproduzierbarkeit auf der International Conference on Learning Representations (ICLR), der zur Einführung neuer Berichtsrichtlinien für mehrere Publikationsorte führte.
Öffentliches Sprechen und Schreiben
Rahimi ist ein aktiver öffentlicher Redner. Er hielt 2018 einen TEDx-Vortrag in Zürich mit dem Titel „The Alchemy of AI“, der über 200.000-mal angesehen wurde. Er führt einen Blog, in dem er technische Themen wie effiziente Matrixmultiplikation und die Grenzen der Backpropagation diskutiert.
In seinem Schreiben hat Rahimi einen systematischeren Ansatz für das Benchmarking algorithmischer Fairness gefordert. In einem Essay aus dem Jahr 2021 für den Open-Panel-Newsletter argumentierte er, dass aktuelle Bewertungsmetriken unzureichend sind, um Verzerrungen in eingesetzten Systemen zu erkennen. Dieser Essay wurde von Regulierungsbehörden und Forschern zitiert.
Ausgewählte Veröffentlichungen
Rahimi hat über 60 begutachtete Artikel verfasst. Zu den bemerkenswerten Werken gehören:
- Rahimi, A., und Recht, B. (2007). Random Features for Large-Scale Kernel Machines. NeurIPS.
- Forster, K., Rahimi, A., und Koller, D. (2010). „Data-Driven Calibration of a Sensor Network.“ Proceedings der ACM/IEEE-Konferenz über Informationsverarbeitung in Sensornetzwerken.
- Rahimi, A., Recht, B., und Darrell, T. (2020). „Learning to Represent Programs with Properties.“ ICLR.
Er hat außerdem zusammen mit seinem Doktorvater das Buch „Distributed Sensor Networks: A Multiagent Perspective“ herausgegeben, das 2006 bei Springer erschien.
Persönliches Leben
Rahimi wurde im Iran geboren und immigrierte Anfang der 1980er-Jahre mit seiner Familie in die Vereinigten Staaten. Er besitzt die doppelte Staatsbürgerschaft und spricht fließend Persisch und Englisch. In Interviews hat er seinen Vater, einen Ingenieur, als frühen Einfluss genannt. Er ist ein begeisterter Bergsteiger und hat an Expeditionen im Himalaya teilgenommen, eine Aktivität, von der er sagt, dass sie seinen Ansatz zur Risikobewertung in der Technik geprägt hat.