アミール・ゴラミは、人工知能分野のコンピュータ科学者および研究者であり、深層学習モデルを計算、メモリ、エネルギー消費の観点でより効率的にすることを専門としている。彼の研究は、ニューラルネットワークモデルの規模拡大と、トレーニングおよび推論に利用可能な限られたハードウェアリソースとの間の拡大するギャップに対処している。ゴラミは特に、モデルプルーニング、量子化、および大規模AIシステムを汎用ハードウェアやエッジデバイス上で実行可能にする分散トレーニング技術への貢献で知られている。
ゴラミの研究は、NeurIPS、ICML、CVPRを含むトップクラスの会議やジャーナルに発表されている。また、彼は活発なオープンソース貢献者でもあり、学界と産業界の両方で広く採用されているツールやライブラリをリリースしている。彼の研究は、機械学習システムと応用数学の交差点に位置し、数値線形代数や最適化の技法を活用している。
教育と初期の経歴
ゴラミは、2011年にイランのテヘランにあるシャリフ工科大学で電気工学の学士号を取得した。その後、大学院研究のために米国に移り、2013年にテキサス大学オースティン校で電気・コンピュータ工学の修士号を取得した。彼は2017年にテキサス大学オースティン校で計算応用数学の博士号を、ジョージ・バイロスの指導の下で修了した。彼の博士論文は、高性能コンピューティングシステム上で偏微分方程式を解くためのスケーラブルなアルゴリズムに焦点を当てており、これが後の効率的な機械学習への関心の基盤となった。
博士課程在学中、ゴラミは計算流体力学や医用画像処理の問題に対する並列数値アルゴリズムに取り組んだ。この経験により、ハードウェアとソフトウェアの協調設計や、高性能を達成するためのメモリアクセスパターンの重要性について深い理解を得た。これらのスキルは、後のAI研究において極めて重要となる。
UCバークレーでの博士研究員
2017年から2020年まで、ゴラミはカリフォルニア大学バークレー校のバークレーAI研究研究所で博士研究員を務め、カート・キューザーとマイケル・マホニーと共に研究した。この期間は、彼が効率的な深層学習へと方向転換する上で形成期となった。バークレーでは、Deep Compressionフレームワークの開発に関与し、畳み込みニューラルネットワークが大幅に少ないパラメータで高い精度を達成できることを実証したSqueezeNetアーキテクチャの設計に貢献した。
ゴラミの博士研究員時代の研究は、量子化の理論的基盤も探求した。彼は、異なる量子化スキームがモデル精度に与える影響に関する影響力のある論文を発表し、ポストトレーニング量子化技術の体系的な研究を含む。この研究は、完全精度モデルを性能の大幅な損失なしに低ビット表現に変換するためのベストプラクティスを確立するのに役立った。
効率的な深層学習への貢献
ゴラミの最も重要な貢献は、モデル圧縮と高速化の分野にある。彼は、深層ニューラルネットワークのメモリフットプリントと計算コストを削減する方法を開発し、モバイルフォン、組み込みシステム、その他のリソース制約のあるプラットフォームでの展開を可能にした。
彼の注目すべき業績の一つは、混合精度量子化のフレームワークの開発であり、ニューラルネットワークの各層に最適なビット幅を自動的に決定する。このアプローチは、制約付き最適化問題を解くことに基づいており、均一量子化と比較して最小限の精度劣化で最大4倍の圧縮を達成できる。この方法は、エッジAI向けのいくつかの商用ツールチェーンで採用されている。
ゴラミはまた、モデルサイズとトレーニングダイナミクスの関係の理解にも貢献した。大規模バッチトレーニングにおける学習率の「適切なスケーリング」に関する彼の研究は広く引用され、GPUクラスターでの分散トレーニングの実践的な指針を提供している。彼は、学習率をバッチサイズに比例して線形にスケーリングする必要があるが、ある点を超えるとより洗練されたスケジュールが必要になることを示した。
大規模言語モデルへの取り組み
大規模言語モデルとトランスフォーマーアーキテクチャの台頭に伴い、ゴラミはこれらのモデルがもたらす独自の課題に注意を向けた。彼は、トランスフォーマーの重みと活性化を量子化する技術を調査しており、これは活性化に外れ値が存在するため数値精度に特に敏感である。彼の外れ値認識量子化に関する研究は、GPTやBERTのようなモデルを消費者向けハードウェアで展開することを可能にする上で重要な役割を果たした。
ゴラミはまた、シーケンス長に応じて二次的にスケールするアテンションメカニズムのメモリオーバーヘッドを削減する方法も探求した。彼は、精度を維持しながら計算複雑性を削減するスパースアテンションパターンと低ランク近似の開発に貢献した。これらの技術は、長いドキュメント、ゲノム配列、および拡張コンテキストを持つその他のデータの処理に関連している。
さらに、ゴラミは大規模言語モデルの効率的なトレーニングと推論に関する包括的なサーベイを執筆し、プルーニング、蒸留、ハードウェア認識設計などの分野の最先端を総合している。これらのサーベイは、この分野に参入する研究者にとって必読の文献となっている。
学術職と産業界での役割
2020年、ゴラミはカリフォルニア大学バークレー校の電気工学・コンピュータサイエンス学科の助教授として教員に加わった。彼はEfficient and Scalable AI Labを率いており、低ビット量子化から連合学習までのトピックに取り組む大学院生を指導している。彼は、2022年のNSF CAREER Awardを含む、教育と研究に関するいくつかの賞を受賞している。
ゴラミはまた、産業界との緊密な関係も維持している。彼はグーグル・ディープマインドとサムスンリサーチで訪問研究員のポジションを歴任し、オンデバイスAIに関連するプロジェクトで協力した。彼はエッジ推論に焦点を当てたいくつかのスタートアップのコンサルタントを務め、彼のオープンソースライブラリ（Deep Compression Toolkitなど）は、インテルやクアルコムを含む企業がニューラルネットワークアクセラレータの最適化に使用している。
主要な出版物と影響
ゴラミは80以上の査読付き論文を執筆し、2024年時点で20,000以上の引用を蓄積している。彼の最も影響力のある業績には以下のものがある：
- 「A Survey of Quantization Methods for Efficient Neural Network Inference」（2021年）は、量子化技術の包括的な分類法を提供し、1,500回以上引用されている。
- 「Mixed-Precision Quantization of CNNs via Limited Range Parameterization」（2021年）は、ビット幅と精度のトレードオフを改善する新しいパラメータ化を導入した。
- 「Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models」（2022年）は、トランスフォーマーにおける活性化外れ値の課題に対処する論文である。
彼の研究は、国際学習表現会議（ICLR）とコンピュータビジョン・パターン認識会議（CVPR）で最優秀論文賞を受賞している。また、AIハードウェアサミットや効率的深層学習ワークショップなど、主要な産業会議での基調講演にも招待されている。
教育と指導
バークレーでは、ゴラミは効率的な機械学習と並列コンピューティングに関する大学院コースを教えている。彼は実践的なアプローチで知られ、学生にアルゴリズムをゼロから実装し、実際のハードウェアでベンチマークすることを奨励している。彼の博士課程の学生の数人は、オープンAIやアンソロピックなどの主要なAI研究所の研究職に進んでいる。
ゴラミはまた、再現可能な研究の提唱者でもある。彼はほとんどの論文のコードとデータを公開しており、複雑なトピックをわかりやすい言葉で説明するブログを維持している。彼はNeurIPSとICMLで効率的な深層学習に関する複数のワークショップを組織し、持続可能なAIに専念する研究者コミュニティを育成している。
現在の研究方向性
2025年時点で、ゴラミの研究は主に3つの分野に焦点を当てている：（1）大規模言語モデルのための量子化認識トレーニング手法の開発、（2）エッジAIのためのエネルギー効率の高いハードウェア・ソフトウェア協調最適化戦略の設計、（3）ニューラルオペレーターによる偏微分方程式の解法など、科学計算への効率的な深層学習の応用。
彼はまた、AIトレーニングの炭素フットプリントを削減することを目的としたプロジェクトにも関与している。適応精度と早期終了メカニズムに関する彼の研究は、モデル品質を犠牲にすることなくエネルギー消費を最大30%削減できる可能性を示している。ゴラミはAMDやARMホールディングスなどのハードウェアベンダーと協力し、彼のアルゴリズムが次世代プロセッサの機能と整合するようにしている。
評価と受賞
ゴラミはキャリアを通じて数多くの栄誉を受けている。NSF CAREER Awardに加えて、2023年にはスローン研究フェローに指名された。彼は機械学習分野の「AI 2000 Most Influential Scholars」に3年連続でリストされている。オープンソースソフトウェアへの貢献は、2021年にGoogleオープンソースピアボーナス賞で認められた。
彼は主要な会議のプログラム委員会に参加し、IEEE Transactions on Pattern Analysis and Machine Intelligenceの准編集者を務めている。彼の研究は、IEEE SpectrumやMIT Technology Reviewの記事を含む一般的なメディアで取り上げられ、彼の手法が実際のAI展開に与える実用的な影響を強調している。
私生活と関心
研究以外では、ゴラミは熱心なハイカーであり写真家でもある。彼は学術会議への旅行中にこれらの関心を組み合わせることが多く、風景や都市景観を撮影している。彼はまた、第一世代の大学生のメンターでもあり、STEM分野でのキャリアを追求する過小評価されたグループを奨励するためのアウトリーチプログラムに参加している。
ゴラミはソーシャルメディアで活発な存在感を維持しており、最近の論文についての洞察を共有し、志望する研究者にキャリアアドバイスを提供している。彼は協力的な精神と若手研究者との関わりに積極的であることで知られ、他の大学の学生と論文を共著することも多い。
遺産と将来の見通し
効率的な深層学習の分野は急速に成長しており、ゴラミはその主要な人物の一人と見なされている。彼の研究は学術知識を前進させただけでなく、自動運転、医用画像処理、リアルタイム言語翻訳などの分野での実用的な応用を可能にした。AIモデルが成長し続けるにつれて、効率研究の重要性は高まる可能性が高く、ゴラミの貢献は今後何年にもわたって関連性を保つだろう。
彼は現在、効率的な深層学習と生成AIの交差点を探求しており、拡散モデルやその他の生成アーキテクチャをモバイルデバイスでよりアクセスしやすくすることを目指している。彼の長期的なビジョンは、強力であるだけでなく持続可能で包括的であり、世界中で既に使用されている数十億のデバイス上で実行可能なAIシステムを創造することである。