Percy Liangは、スタンフォード大学のコンピュータサイエンス教授であり、スタンフォード人間中心人工知能研究所（HAI）内の基盤モデル研究センター（CRFM）の所長を務めている。
Liangの初期の研究は、自然言語処理における統計的およびニューラルなアプローチに焦点を当てており、意味解析や、NLPシステムの敵対的入力に対する頑健性を調べる手法を含んでいた。彼は2010年代初頭にスタンフォード大学の教員となり、NLP、機械学習理論、そしてトランスフォーマーアーキテクチャの導入後にこの分野を支配するようになった大規模な事前学習モデルにわたって研究グループを構築した。
基盤モデル
2021年、Liangはスタンフォード大学の論文「On the Opportunities and Risks of Foundation Models」の主導的な主催者および共著者であり、この論文は、基盤モデルという用語を導入し普及させて、GPT-3やBERTのような大規模モデルを、広範なデータで大規模に訓練され、ファインチューニングや文脈内学習を通じて多様な下流タスクに適応可能なものとして説明した。この論文は、基盤モデルへの移行がAI研究における有意義なパラダイム変化を表していると主張し、少数の広く再利用される基盤モデルの欠陥や偏りが多くの下流アプリケーションに伝播する可能性があるため、均質化に関するリスクに注意を喚起した。
HELMと評価
Liangは、言語モデルの厳密で透明な評価の有力な提唱者である。彼のグループはHELM（Holistic Evaluation of Language Models）を作成した。これは、精度、較正、頑健性、公平性、効率性を含む多くのシナリオと指標にわたってモデルを同時に評価するように設計されたベンチマークスイートであり、MMLUのような初期のベンチマークが使用される傾向があったように、単一のリーダーボード数値に最適化するのではなく、多くのプロバイダーのモデルを共通のシナリオセットでより広範で再現可能なモデル行動の全体像を与えることを目指している。HELMは、ベンチマークの飽和やゲーミングに関する懸念への対応として部分的に設計されており、モデル行動のより広範で再現可能な全体像を提供することを目的としている。
影響
CRFMを通じて、Liangは基盤モデルのエコシステムを追跡する広く引用される研究を発表し続けており、主要なAIラボがモデルの訓練データ、計算量、展開についてどれだけ開示しているかを評価する透明性指標を含んでいる。彼の研究は、経験的AI研究とAI政策の交差点に位置し、OpenAI、Anthropic、Google DeepMindを含む、モデルを構築するラボ自身が生成した結果と評価にますます支配される分野に、より独立した学術的監視をもたらすことを目指している。