Amir Gholami ist Informatiker und Forscher auf dem Gebiet der künstlichen Intelligenz, mit dem Schwerpunkt darauf, Deep-Learning-Modelle hinsichtlich Rechenaufwand, Speicher und Energieverbrauch effizienter zu machen. Seine Arbeit adressiert die wachsende Kluft zwischen der zunehmenden Größe von neuronalen Netzwerk-Modellen und den begrenzten Hardware-Ressourcen für Training und Inferenz. Gholami ist besonders bekannt für Beiträge zu Modell-Pruning, Quantisierung und verteilten Trainingstechniken, die es ermöglichen, große KI-Systeme auf Standard-Hardware und Edge-Geräten auszuführen.
Gholamis Forschung wurde in führenden Konferenzen und Zeitschriften veröffentlicht, darunter NeurIPS, ICML und CVPR. Er war außerdem ein aktiver Open-Source-Beitragender und veröffentlichte Werkzeuge und Bibliotheken, die sowohl in der Wissenschaft als auch in der Industrie breite Anwendung gefunden haben. Seine Arbeit ist an der Schnittstelle von Machine-Learning-Systemen und angewandter Mathematik angesiedelt und stützt sich auf Techniken aus der numerischen linearen Algebra und der Optimierung.
Ausbildung und frühe Karriere
Gholami erhielt 2011 seinen Bachelor of Science in Elektrotechnik von der Sharif University of Technology in Teheran, Iran. Anschließend wechselte er für sein Graduiertenstudium in die Vereinigten Staaten und erwarb 2013 einen Master of Science in Elektro- und Computertechnik an der University of Texas at Austin. 2017 schloss er seine Promotion in Computational and Applied Mathematics an der University of Texas at Austin unter der Betreuung von George Biros ab. Seine Doktorarbeit befasste sich mit skalierbaren Algorithmen zur Lösung partieller Differentialgleichungen auf Hochleistungsrechensystemen, was die Grundlage für sein späteres Interesse an effizientem maschinellem Lernen legte.
Während seiner Promotion arbeitete Gholami an parallelen numerischen Algorithmen für Probleme in der numerischen Strömungsmechanik und der medizinischen Bildgebung. Diese Erfahrung gab ihm ein tiefes Verständnis für Hardware-Software-Co-Design und die Bedeutung von Speicherzugriffsmustern für hohe Leistung - Fähigkeiten, die sich später in seiner KI-Forschung als entscheidend erweisen sollten.
Postdoktorandenforschung an der UC Berkeley
Von 2017 bis 2020 war Gholami Postdoktorand am Berkeley AI Research-Labor der University of California, Berkeley, wo er mit Kurt Keutzer und Michael Mahoney zusammenarbeitete. Diese Zeit war prägend für seine Hinwendung zum effizienten Deep Learning. In Berkeley war er an der Entwicklung des Deep-Compression-Frameworks beteiligt und trug zum Design der SqueezeNet-Architektur bei, die zeigte, dass faltende neuronale Netze mit deutlich weniger Parametern eine hohe Genauigkeit erreichen können.
Gholamis Postdoktorandenarbeit erforschte auch die theoretischen Grundlagen der Quantisierung. Er veröffentlichte einflussreiche Arbeiten über die Auswirkungen verschiedener Quantisierungsschemata auf die Modellgenauigkeit, darunter eine systematische Studie zu Post-Training-Quantisierungstechniken. Diese Forschung half, Best Practices für die Umwandlung von Modellen mit voller Präzision in Darstellungen mit niedrigerer Bit-Tiefe ohne signifikanten Genauigkeitsverlust zu etablieren.
Beiträge zum effizienten Deep Learning
Gholamis bedeutendste Beiträge liegen im Bereich der Modellkompression und -beschleunigung. Er hat Methoden entwickelt, um den Speicherbedarf und die Rechenkosten tiefer neuronaler Netze zu reduzieren und sie auf Mobiltelefonen, eingebetteten Systemen und anderen ressourcenbeschränkten Plattformen einsetzbar zu machen.
Eine seiner bemerkenswerten Arbeiten ist die Entwicklung eines Frameworks für Mixed-Precision-Quantisierung, das automatisch die optimale Bit-Breite für jede Schicht eines neuronalen Netzes bestimmt. Dieser Ansatz, der auf der Lösung eines restringierten Optimierungsproblems basiert, kann eine bis zu 4-fache Kompression bei minimaler Genauigkeitsverschlechterung im Vergleich zur einheitlichen Quantisierung erreichen. Die Methode wurde in mehreren kommerziellen Toolchains für Edge-KI übernommen.
Gholami hat auch zum Verständnis der Beziehung zwischen Modellgröße und Trainingsdynamik beigetragen. Seine Forschung zur "richtigen Skalierung" von Lernraten für Training mit großen Batches wurde vielfach zitiert und bietet praktische Anleitungen für verteiltes Training auf GPU-Clustern. Er zeigte, dass die Lernrate bis zu einem bestimmten Punkt linear mit der Batch-Größe skaliert werden sollte, danach sind ausgefeiltere Zeitpläne erforderlich.
Arbeit an großen Sprachmodellen
Mit dem Aufkommen von großen Sprachmodellen und Transformer-Architekturen wandte sich Gholami den besonderen Herausforderungen dieser Modelle zu. Er hat Techniken zur Quantisierung der Gewichte und Aktivierungen von Transformatoren untersucht, die aufgrund des Vorhandenseins von Ausreißerwerten in den Aktivierungen besonders empfindlich auf numerische Präzision reagieren. Seine Arbeit zur ausreißerbewussten Quantisierung war maßgeblich dafür, die Bereitstellung von Modellen wie GPT und BERT auf Verbraucherhardware zu ermöglichen.
Gholami hat auch Methoden zur Reduzierung des Speicher-Overheads von Aufmerksamkeitsmechanismen erforscht, die quadratisch mit der Sequenzlänge skalieren. Er trug zur Entwicklung von Sparse-Attention-Mustern und Niedrigrang-Approximationen bei, die die Genauigkeit beibehalten und gleichzeitig die Rechenkomplexität reduzieren. Diese Techniken sind relevant für die Verarbeitung langer Dokumente, genomischer Sequenzen und anderer Daten mit erweitertem Kontext.
Darüber hinaus hat Gholami umfassende Übersichtsarbeiten zum effizienten Training und zur Inferenz großer Sprachmodelle verfasst, die den Stand der Technik in Bereichen wie Pruning, Destillation und hardwarebewusstem Design synthetisieren. Diese Übersichten sind zu Pflichtlektüre für Forscher geworden, die in das Feld einsteigen.
Akademische Positionen und Industrieprojekte
Im Jahr 2020 trat Gholami als Assistant Professor in die Fakultät der Abteilung für Elektrotechnik und Informatik der University of California, Berkeley ein. Er leitet das Efficient and Scalable AI Lab, wo er Doktoranden zu Themen von Low-Bit-Quantisierung bis hin zu föderiertem Lernen betreut. Er hat mehrere Auszeichnungen für seine Lehre und Forschung erhalten, darunter den NSF CAREER Award im Jahr 2022.
Gholami pflegt auch enge Verbindungen zur Industrie. Er hatte Gastforscherpositionen bei Google DeepMind und Samsung Research inne, wo er an Projekten zur KI auf dem Gerät zusammenarbeitete. Er war als Berater für mehrere Startups im Bereich Edge-Inferenz tätig, und seine Open-Source-Bibliotheken, wie das Deep Compression Toolkit, werden von Unternehmen wie Intel und Qualcomm zur Optimierung ihrer neuronalen Netzwerkbeschleuniger verwendet.
Ausgewählte Veröffentlichungen und Wirkung
Gholami hat über 80 begutachtete Arbeiten verfasst und bis 2024 mehr als 20.000 Zitationen gesammelt. Zu seinen einflussreichsten Werken gehören:
- "A Survey of Quantization Methods for Efficient Neural Network Inference" (2021), das eine umfassende Taxonomie von Quantisierungstechniken bietet und über 1.500 Mal zitiert wurde.
- "Mixed-Precision Quantization of CNNs via Limited Range Parameterization" (2021), das eine neuartige Parametrisierung einführt, die den Kompromiss zwischen Bit-Breite und Genauigkeit verbessert.
- "Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models" (2022), eine Arbeit, die die Herausforderung von Aktivierungsausreißern in Transformatoren adressiert.
Seine Forschung wurde mit Best-Paper-Auszeichnungen auf der International Conference on Learning Representations (ICLR) und der Conference on Computer Vision and Pattern Recognition (CVPR) gewürdigt. Er wurde außerdem zu Keynote-Vorträgen auf großen Industriekonferenzen eingeladen, darunter der AI Hardware Summit und der Efficient Deep Learning Workshop.
Lehre und Mentoring
In Berkeley unterrichtet Gholami Graduiertenkurse zu effizientem maschinellem Lernen und parallelem Rechnen. Er ist bekannt für seinen praxisorientierten Ansatz, bei dem er die Studierenden ermutigt, Algorithmen von Grund auf zu implementieren und auf realer Hardware zu benchmarken. Mehrere seiner Doktoranden haben anschließend Forschungspositionen an führenden KI-Labors wie OpenAI und Anthropic übernommen.
Gholami ist auch ein Verfechter reproduzierbarer Forschung. Er hat den Code und die Daten für die meisten seiner Arbeiten öffentlich zugänglich gemacht und unterhält einen Blog, in dem er komplexe Themen in verständlicher Sprache erklärt. Er hat mehrere Workshops zu effizientem Deep Learning auf NeurIPS und ICML organisiert und damit eine Gemeinschaft von Forschern gefördert, die sich nachhaltiger KI widmen.
Aktuelle Forschungsrichtungen
Stand 2025 konzentriert sich Gholamis Forschung auf drei Hauptbereiche: (1) die Entwicklung quantisierungsbewusster Trainingsmethoden für große Sprachmodelle, (2) das Design energieeffizienter Hardware-Software-Co-Optimierungsstrategien für Edge-KI und (3) die Anwendung effizienten Deep Learnings auf wissenschaftliches Rechnen, etwa zur Lösung partieller Differentialgleichungen mit neuronalen Operatoren.
Er ist auch an Projekten beteiligt, die den CO2-Fußabdruck des KI-Trainings reduzieren sollen. Seine Arbeit zu adaptiver Präzision und Early-Exit-Mechanismen hat gezeigt, dass der Energieverbrauch um bis zu 30% gesenkt werden kann, ohne die Modellqualität zu beeinträchtigen. Gholami arbeitet mit Hardware-Anbietern wie AMD und ARM Holdings zusammen, um sicherzustellen, dass seine Algorithmen mit den Fähigkeiten der nächsten Prozessorgenerationen übereinstimmen.
Anerkennung und Auszeichnungen
Gholami hat im Laufe seiner Karriere zahlreiche Ehrungen erhalten. Zusätzlich zum NSF CAREER Award wurde er 2023 zum Sloan Research Fellow ernannt. Er wurde drei Jahre in Folge unter den "AI 2000 Most Influential Scholars" im Bereich maschinelles Lernen gelistet. Seine Beiträge zu Open-Source-Software wurden 2021 mit dem Google Open Source Peer Bonus Award gewürdigt.
Er ist Mitglied der Programmkomitees großer Konferenzen und assoziierter Herausgeber der IEEE Transactions on Pattern Analysis and Machine Intelligence. Seine Arbeit wurde in populären Medien vorgestellt, darunter Artikel in IEEE Spectrum und MIT Technology Review, die die praktischen Auswirkungen seiner Methoden auf die reale KI-Bereitstellung hervorheben.
Persönliches Leben und Interessen
Außerhalb der Forschung ist Gholami ein begeisterter Wanderer und Fotograf. Er verbindet diese Interessen oft auf Reisen zu akademischen Konferenzen und hält Landschaften und urbane Szenen fest. Er ist außerdem Mentor für Erstakademiker und beteiligt sich an Outreach-Programmen, um unterrepräsentierte Gruppen zu ermutigen, Karrieren in MINT-Fächern zu verfolgen.
Gholami ist in den sozialen Medien aktiv, wo er Einblicke in aktuelle Arbeiten teilt und aufstrebenden Forschern Karriereberatung bietet. Er ist bekannt für seinen kooperativen Geist und seine Bereitschaft, mit Nachwuchsforschern zusammenzuarbeiten, und veröffentlicht oft gemeinsam mit Studierenden anderer Universitäten.
Vermächtnis und Zukunftsaussichten
Das Feld des effizienten Deep Learnings ist schnell gewachsen, und Gholami gilt als eine seiner führenden Figuren. Seine Arbeit hat nicht nur das akademische Wissen vorangetrieben, sondern auch praktische Anwendungen in Bereichen wie autonomes Fahren, medizinische Bildgebung und Echtzeit-Sprachübersetzung ermöglicht. Da KI-Modelle weiterhin an Größe zunehmen, wird die Bedeutung der Effizienzforschung wahrscheinlich steigen, und Gholamis Beiträge werden auch in den kommenden Jahren relevant bleiben.
Er erforscht derzeit die Schnittstelle von effizientem Deep Learning und generativer KI mit dem Ziel, Diffusionsmodelle und andere generative Architekturen auf Mobilgeräten zugänglicher zu machen. Seine langfristige Vision ist es, KI-Systeme zu schaffen, die nicht nur leistungsfähig, sondern auch nachhaltig und inklusiv sind und auf den Milliarden von Geräten laufen können, die weltweit bereits im Einsatz sind.