Luke Zettlemoyerは、ワシントン大学ポール・G・アレン計算機科学工学部の教授であり、Meta AIの上級研究科学者です。彼の研究は自然言語処理（NLP）に焦点を当てており、特に意味解析、接地された言語理解、および大規模言語モデルの効率的な訓練方法の開発に取り組んでいます。彼は弱教師あり学習への貢献と、いくつかのNLPベンチマークで最先端の結果を達成したDeBERTaモデルアーキテクチャの共同開発で知られています。
Zettlemoyerは2007年にマサチューセッツ工科大学で博士号を取得し、マイケル・コリンズの指導を受けました。2013年にワシントン大学に加わる前は、イリノイ大学アーバナ・シャンペーン校で助教授を務めていました。また、マイクロソフトリサーチやAmazon AIでの研究職も歴任しています。
研究貢献
Zettlemoyerの初期の研究は、自然言語の発話から意味解析器を学習することに焦点を当てていました。彼は、弱教師あり意味解析に組合せ範疇文法（CCG）を導入し、詳細な論理形式ではなく文レベルの注釈からモデルが学習できるようにしました。この研究の流れは、その後の接地された言語獲得や質問応答の研究に影響を与えました。
2010年代には、注意機構やメモリ拡張ネットワークに関する研究を含む、NLPのためのニューラルネットワークベースのモデルの開発に貢献しました。彼のワシントン大学のグループは、マルチタスク学習、ドメイン適応、および系列モデルの効率的な推論に関する影響力のある論文を発表しました。
大規模言語モデルとMeta AI
Meta AIでは、Zettlemoyerは大規模言語モデルに取り組むチームを率いています。彼は、Metaが公開したオープンソースの大規模言語モデルであるOPTおよびLLaMAモデルファミリーの主要な貢献者でした。これらのモデルは、競争力のある性能とオープンなアクセス性により、研究者や実務者に広く採用されています。ZettlemoyerのFlashAttentionや勾配チェックポイントなどの効率的な訓練方法に関する研究は、大規模モデルの訓練コスト削減に貢献しました。
また、検索拡張生成や思考連鎖プロンプティングに関する研究を含む、言語モデルの事実的正確性と推論能力の向上にも関与しています。
教育と指導
ワシントン大学では、Zettlemoyerは自然言語処理と機械学習に関する大学院コースを教えています。彼は多くの博士課程学生を指導し、彼らは学界や産業界のポジションに進み、OpenAI、Google DeepMind、Anthropicなどの研究者を含みます。彼の指導スタイルは、厳密な実験と研究アイデアの明確なコミュニケーションを重視しています。
受賞と認知
Zettlemoyerは、全米科学財団CAREER賞やスローン研究フェローシップなど、研究に対して複数の賞を受賞しています。彼はACLやEMNLPなどの主要なNLP会議で頻繁にエリアチェアを務め、計算言語学協会のトランザクションの編集委員会にも参加しています。彼の研究は数万回引用されており、その分野への広範な影響を反映しています。
代表的な出版物
彼の最も引用された論文には、「DeBERTa: Decoding-enhanced BERT with Disentangled Attention」（2021年）があり、これはSuperGLUEベンチマークでの性能を向上させる新しい注意機構を導入しました。また、「OPT: Open Pre-trained Transformer Language Models」（2022年）は、オープンソース言語モデルのスイートの訓練と公開を詳述しています。さらに、「Learning to Map Sentences to Logical Form」（2007年）や「Weakly Supervised Learning of Semantic Parsers」（2012年）など、意味解析に関する影響力のある研究も発表しています。
Zettlemoyerは現在も活発な研究者であり、最近ではマルチモーダルモデルや言語モデルの人間の価値観への整合に興味を持っています。彼の研究は学術研究と産業展開を橋渡ししており、人工知能コミュニティで著名な人物となっています。