トーマス・スキアロムは、Meta AI（現在はAI研究の一部門）の研究科学者であり、大規模言語モデルと機械学習に関する研究で知られている。彼は、2023年にリリースされたオープンソースの大規模言語モデル群であるLlama 2の共著者として最もよく知られており、検索拡張生成や人間のフィードバックからの強化学習といった手法を通じて、これらのモデルの事実的正確性と推論能力を向上させる研究を行っている。彼の業績は、生成AIにおける学術研究と実用応用の両方に影響を与えている。
スキアロムの研究は、深層学習、自然言語処理、ニューラルネットワークアーキテクチャの交差点に位置している。彼はMeta AIにおいて、Llamaとその後継モデルの開発を含む複数のプロジェクトに貢献し、テキスト要約、質問応答、モデルのアライメントといったトピックについて幅広く論文を発表している。彼の貢献は、AIコミュニティ内でより信頼性が高く制御可能な言語モデルを構築するための幅広い取り組みの一部である。
初期の経歴と教育
トーマス・スキアロムは、コンピュータサイエンスの博士課程を修了し、自然言語処理と深層学習に焦点を当てた。彼の博士研究は、学術機関と産業研究所との協力のもとで行われ、テキスト要約と系列変換モデルへの新しいアプローチを探求した。その後、彼はMeta AI（旧Facebook AI Research）に研究科学者として入社し、大規模言語モデルの研究を開始した。
初期のキャリアにおいて、スキアロムはTransformerベースのアーキテクチャに関する基礎的な論文に貢献し、特に要約と対話システムの文脈での応用に焦点を当てた。彼の研究は、評価指標と人間による評価の重要性を強調することが多く、このテーマは後のRLHFに関する研究でも継続された。
Llama 2への貢献
スキアロムは、2023年7月にMeta AIからリリースされたLlama 2の主要な貢献者であった。Llama 2は、70億から700億パラメータの範囲を持つ、事前学習済みおよび微調整済みの大規模言語モデルのコレクションである。前身モデルとは異なり、Llama 2は商用利用が可能となり、オープンソースAIの状況に大きな変化をもたらした。スキアロムは、モデルのアーキテクチャ、学習データ、アライメントプロセスを詳述した付随する技術報告書の共著者でもある。
Llama 2の注目すべき側面は、有用性と安全性を向上させるための人間のフィードバックからの強化学習の使用であった。スキアロムのRLHFに関する研究は、近位方策最適化技術を含む報酬モデルの開発において重要な役割を果たした。このモデルのリリースは、他の組織からのオープンソースモデルの広範な採用と発展を促進した。
検索拡張生成に関する研究
Llama 2以外にも、スキアロムは検索拡張生成（RAG）に多大な貢献をしている。RAGは、情報検索と生成モデルを組み合わせて事実的正確性を向上させる手法である。彼のこの分野での研究には、2022年の論文「Recitation-Augmented Language Models」が含まれ、これは回答を生成する前に関連する文章をモデルに暗唱させることで、知識集約型タスクのパフォーマンスを向上させることを実証した。
この一連の研究は、大規模言語モデルの重要な限界、すなわちもっともらしいが不正確な情報を生成する傾向（しばしばハルシネーションと呼ばれる）に対処するものであった。外部知識源を統合することで、スキアロムの手法はモデルの出力を検証可能な事実に基づかせることを目指し、この方向性は質問応答や事実確認を含む多くのAIアプリケーションの中心となっている。
影響と評価
スキアロムの研究はAIコミュニティで広く引用されており、彼はNeurIPS、ICML、ACLなどの会議で頻繁に講演を行っている。オープンソースAIへの貢献、特にLlama 2を通じたものは、高度な言語モデルへのアクセスを民主化したと評価されている。彼はまた、Google DeepMindやOpenAIを含む他の主要機関の研究者とも、モデル評価とアライメントに関するトピックで協力している。
2024年現在、スキアロムはMeta AIで研究を続けており、大規模言語モデルの推論能力と安全性の向上に焦点を当てている。彼の研究は、より強力で信頼性の高い人工知能システムの開発の方向性に影響を与え続けている。