Adriana Romeroは、機械学習と深層学習を専門とするコンピュータ科学者である。彼女は、知識蒸留、特にFitNetsアーキテクチャに関する研究と、Metaの基礎AI研究（FAIR）研究所のパリ支部を率いたことで最もよく知られている。彼女の研究は、コンピュータビジョンやその他の領域への応用を伴う、効率的なニューラルネットワークの訓練と圧縮に焦点を当てている。
Romeroの学術経歴は、コンピュータ科学の博士号取得から始まり、その間、視覚認識のための深層学習アーキテクチャに注力した。2010年代半ばに完了した彼女の博士研究は、より深く効率的なニューラルネットワークを訓練する技術の開発に貢献した。この研究は、後のモデル圧縮と知識伝達への貢献の基盤を築いた。
FitNetsと知識蒸留
Romeroの最も引用されている貢献は、Yoshua Bengioらを含む共同研究者と共著し、2014年に発表されたFitNets論文である。この論文は、従来の教師-生徒パラダイムを超える知識蒸留の手法を導入した。より大きな事前訓練済みの教師ネットワークの最終出力のみを一致させる代わりに、FitNetsは教師とより薄く深い生徒ネットワークの間の中間表現、すなわち特徴マップも一致させる。このアプローチは「ヒントベースの訓練」と呼ばれ、生徒が教師の内部表現からより効果的に学習することを可能にする。
FitNetsの手法は、生徒ネットワークが教師よりも深く薄くても、CIFAR-10やImageNetなどの画像分類ベンチマークで同等またはそれ以上の精度を達成できることを実証した。この研究は、モバイル電話や組み込みシステムなどのリソース制約のあるデバイスに深層学習モデルを展開するために不可欠なモデル圧縮技術の開発に影響を与えた。中間特徴を蒸留に使用する概念は、その後の研究で広く採用され、拡張されている。
研究貢献
FitNets以外にも、Romeroは深層学習研究の他のいくつかの領域に貢献してきた。彼女の研究は、コンパクトな畳み込みネットワークの設計を含む、効率的な推論のためのアーキテクチャを探求してきた。また、慎重な初期化や正則化戦略などを通じて、深層モデルの訓練安定性と汎化を改善する方法も調査してきた。
Romeroは、NeurIPS、ICLR、CVPRを含むトップクラスの会議やジャーナルに論文を発表している。彼女の研究は何千回も引用され、その分野への影響を反映している。また、主要な機械学習会議の査読者やエリアチェアを務め、学術コミュニティの査読プロセスに貢献してきた。
FAIRパリでのリーダーシップ
2010年代後半、Romeroは研究科学者としてFacebook AI Research（現在のFAIR）に入社した。その後、FAIRパリの責任者となり、基礎的および応用的なAI問題に焦点を当てた研究者チームを率いた。彼女のリーダーシップの下、パリの研究所は、自己教師あり学習、マルチモーダルAI、効率的なモデルアーキテクチャなどのトピックに取り組んできた。この研究所は学術機関と協力し、PyTorchエコシステムやさまざまなモデルリリースなどのオープンソースプロジェクトに貢献している。
彼女の役割には、研究方針の設定、若手研究者の指導、メンロパーク、ニューヨーク、ロンドンの他のFAIR研究所との協力の促進が含まれる。彼女は、メタの研究成果を共有する広範な戦略に沿って、オープンリサーチと再現可能なAIの声高な提唱者となっている。
影響と認知
Romeroの知識蒸留に関する研究は、モデル圧縮と効率的なAIの分野に永続的な影響を与えてきた。FitNets論文はこの分野の基礎的な研究と見なされており、その技術は小さく高速なモデルを必要とする多くの本番システムで使用されている。FAIRパリでの彼女のリーダーシップは、欧州のAI研究コミュニティにおける著名な人物としての地位も確立している。
彼女は数多くの会議やワークショップで講演に招待され、その研究は業界および学術メディアで取り上げられている。2020年代初頭の時点で、彼女は引き続き積極的な研究者およびリーダーであり、人工知能とその応用の進歩に貢献している。