Guillaume Lampleは、フランス人のコンピュータ科学者であり、Meta AI（旧Facebook AI Research）の研究科学者である。彼は、自然言語処理のためのニューラルネットワークアーキテクチャへの貢献で最もよく知られており、特にLLaMAシリーズの大規模言語モデルの共著者として知られている。彼の研究は、機械学習、深層学習、およびトランスフォーマーベースのモデルに及ぶ。
Lampleは、2016年にカーネギーメロン大学でコンピュータ科学の博士号を取得し、Alexei EfrosとRuslan Salakhutdinovの指導の下で研究を行った。彼の博士研究は、教師なし学習と生成的モデルに焦点を当て、ピクセルレベルのドメイン適応と画像生成に関する研究を生み出した。卒業後、彼は2016年にFacebook AI Research（現在のMeta AI）に研究科学者として入社した。
ニューラル機械翻訳
LampleのFacebook AI Researchでの初期の研究は、ニューラル機械翻訳に集中していた。2017年、彼は国際会議ICLRで発表された論文「Unsupervised Machine Translation Using Monolingual Corpora Only」を共著した。この論文は、並列コーパスなしで、各言語の単言語テキストのみを使用して翻訳システムを訓練できることを実証した。このアプローチは、共有潜在空間とノイズ除去オートエンコーダを活用し、英語-フランス語および英語-ドイツ語のベンチマークで競争力のある結果を達成した。この研究は、2018年の「Phrase-Based & Neural Unsupervised Machine Translation」へと続き、フレーズベースの統計的手法とニューラルコンポーネントを組み合わせた。
言語横断的言語モデリング
2019年、Lampleと同僚は、論文「Cross-lingual Language Model Pretraining」で説明された言語横断的言語モデル（XLM）を導入した。このモデルは、複数の言語にわたる共有語彙とマスク言語モデリング目的を使用し、固有表現認識やテキスト分類などのタスクでのゼロショット転送を可能にした。XLMは当時のXNLIベンチマークで最先端の結果を達成し、以前の多言語モデルを上回った。このアプローチは、XLM-RやmBERTなどのその後の多言語モデルに影響を与えた。
LLaMAと大規模言語モデル
Lampleは、Meta AIでのLLaMAモデルファミリーの主要な貢献者であった。2023年2月にリリースされた最初のLLaMAモデルは、7B、13B、33B、65Bパラメータの4つのサイズで提供された。技術レポート「LLaMA: Open and Efficient Foundation Language Models」は、モデルが合計1.4兆トークンの公開データセットでどのように訓練されたかを詳述した。Lampleの役割には、モデルアーキテクチャと訓練安定性に関する作業が含まれていた。2023年7月にリリースされたLLaMA-2は、70Bパラメータに拡張され、商用ライセンスを導入した。2024年4月にリリースされたLLaMA-3には、8Bと70Bのバリアントが含まれ、2024年7月には405Bモデルが続いた。これらのモデルは、オープンソースAIコミュニティで広く採用され、多数のファインチューニングされた派生モデルの基盤となった。
その他の研究貢献
翻訳と言語モデルに加えて、Lampleはコード生成とプログラム合成にも取り組んでいる。2021年、彼は（Salesforce Researchの同僚と共に）コード理解と生成のための統一された事前学習エンコーダ-デコーダモデルである「CodeT5」を共著した。彼はまた、少数ショット学習とプロンプトエンジニアリングに関する研究にも貢献し、2022年の論文「Language Models are Few-Shot Learners」を含む（ただし、この特定の論文はOpenAIのGPT-3により一般的に関連付けられている）。Meta AIでは、マルチモーダル学習と人間のフィードバックからの強化学習を探求するプロジェクトに関与してきた。
影響と評価
Google Scholarによると、Lampleの研究は2024年時点で30,000回以上引用されている。彼の教師なし機械翻訳と言語横断的事前学習に関する論文は、この分野で最も引用されているものの一つである。彼は、NeurIPSやACLを含む主要な会議でエリアチェアを務めてきた。2023年、彼はフランスのテクノロジー雑誌L'Usine Nouvelleによって「40 under 40」の一人に選ばれた。彼は現在もパリのMeta AIで働き続けており、大規模生成的モデルに焦点を当てたチームを率いている。
主な出版物
- 「Unsupervised Machine Translation Using Monolingual Corpora Only」(ICLR 2017)
- 「Phrase-Based & Neural Unsupervised Machine Translation」(EMNLP 2018)
- 「Cross-lingual Language Model Pretraining」(NeurIPS 2019)
- 「LLaMA: Open and Efficient Foundation Language Models」(2023)
- 「LLaMA-2: Open Foundation and Fine-Tuned Chat Models」(2023)
- 「The Llama 3 Herd of Models」(2024)
彼の研究は、欧州研究評議会とフランス国立研究機関からの助成金によって支援されてきたが、具体的な助成金番号は公にリストされていない。2024年時点で、Lampleは依然として活発な研究者であり、最近の研究は大規模言語モデルの効率と安全性の向上に焦点を当てている。