ナマン・ゴイヤルは、コンピュータ科学者であり、人工知能の研究者である。彼は、シーケンス間モデルの事前学習のためのノイズ除去オートエンコーダであるBARTの共同執筆者として、また、広く使用されているオープンソースの深層学習ライブラリであるFairseqへの貢献で最もよく知られている。彼の研究は、現代の大規模言語モデルの発展に影響を与えてきた。
ゴイヤルの研究は、機械学習の分野、特にシーケンス間学習と事前学習に関連する領域に位置づけられる。彼の貢献は、基礎的なアーキテクチャと大規模モデルを訓練するための実用的なツールを橋渡しするものである。
BARTと事前学習
ゴイヤルは、2019年にBARTをリリースしたチームの一員であった。BARTアーキテクチャは、双方向エンコーダと自己回帰デコーダを組み合わせ、ノイズ除去目的を使用して破損したテキストで事前学習を行う。このアプローチにより、モデルは要約や翻訳などのタスクで高品質な出力を生成することができた。この論文では、最大4億パラメータを持つモデルを紹介し、スタンフォード質問応答データセットやGLUEを含むいくつかのベンチマークで最先端の結果を達成した。
BARTは、BERTやGPTなどの初期のモデルからのアイデアを統合し拡張したため、事前学習における重要な一歩であった。標準的な言語モデル目的のみを使用するのではなく、BARTはトークンマスキングや順序の置換を含むさまざまなノイズ関数でテキストを破損させた。ゴイヤルの役割は、このアプローチの経験的成功に貢献し、シーケンス間事前学習が純粋なエンコーダやデコーダモデルと同様に効果的であることを実証した。
Fairseqツールキット
同時に、ゴイヤルはMeta AI（旧Facebook AI Research）で開発されたソフトウェアライブラリであるFairseqに貢献した。Fairseqは、翻訳、要約、その他のシーケンスタスクのためのモデル訓練をサポートする。PyTorchを使用し、トランスフォーマーやその他のアーキテクチャの効率的な実装を提供する。このライブラリはオープンソース化され、学界や他の研究所で広く採用されている。
Fairseqは、重み初期化、層正規化、学習率スケジュールなどの技術を導入し、深層ネットワークの訓練をより安定させた。ゴイヤルのFairseqへの関与は、エンジニアリングと実験に役立ち、研究の標準的なツールとなるに至った。
モデルスケーリングへの貢献
関連する研究において、ゴイヤルは勾配クリッピングやトップpサンプリングなどの問題を探求した。彼はまた、スケーリングと大規模バッチ訓練に関する研究にも参加し、これは実務者が事前学習に取り組む方法に影響を与えた。例えば、2020年初頭のニューラル言語モデルのモデルスケーリング則に関する研究は、計算量、データ、パラメータがバランスしている必要があることを実証し、この研究系統は大規模モデルの設計に影響を与えた。
ゴイヤルはまた、Natural Questionsデータセットをコミュニティを通じてリリースした研究者の一人でもあったが、その帰属は他の研究者が管理していた。しかし、彼の出版物の多くは後に深層学習文献で引用されるようになった。
影響
BARTとFairseqに関する彼の研究は、翻訳による条件付き生成のベースラインを確立するのに役立った。これらのモデルはまた、テキスト読み上げの設計や、より効率的な訓練に関する研究にも情報を提供した。
その遺産は、その後のリリースや無数の訓練に引き継がれている。2024年現在、BARTはいくつかのライブラリで標準的なモデルとなっている。ゴイヤルの貢献は、引用数やトップ会議への参加を通じて認められている。彼はまた、ヤン・ルカンやミケル・アルテシェなどの研究者と協力してきた。