アリシア・ライは、人工知能の安全性とアライメントの分野の研究者であり、現在はサンフランシスコのOpenAIに所属している。彼女の研究は、大規模言語モデルが確実に動作し、人間の意図と整合することを確保するという技術的課題に焦点を当てており、特にリスクの高い展開シナリオにおいて重要である。ライの研究は、機械学習、解釈可能性、堅牢なシステム設計の交差点に位置し、Deep learningやTransformer (architecture)アーキテクチャからの方法論を活用している。
ライのAI安全性におけるキャリアは、Generative AIの能力が急速に成長した時期に出現し、モデルのミスアライメントや意図しない行動への懸念が業界や学術界の議論の中心となった。彼女の貢献は主にOpenAI内部に限定されており、そこでは学際的なチームと協力して安全性評価やレッドチーミングの取り組みを行っている。彼女は内部の研究レビューで結果を発表し、モデルリリースの決定に影響を与える安全性フレームワークに貢献してきたが、自身の名前で公開の場で広く論文を発表してはいない。
初期の研究と教育
ライは、機械学習とAI安全性を専門とするコンピュータサイエンスの大学院研究を修了し、強化学習と価値アライメントに焦点を当てた。学術期間中、彼女はBAIR (Berkeley AI Research)やStanford AI Labに所属する研究者の下で学び、エージェントにおける目標の誤一般化を評価するための初期フレームワークを開発した。2021年に完成した修士論文では、シミュレーション環境における報酬ハッキング行動を検討し、このテーマは後にAnthropicや他の安全性重視の研究所にとって基礎的な関心事となった。
2023年にOpenAIに入社する前、ライはNeural networkの解釈可能性を探るプロジェクトで研究アシスタントとして働き、安全性に関連する概念の内部表現を特定するためのプロービング技術を使用した。また、2022年の夏にはGoogle DeepMindでのインターンシップ中にオープンソースの安全性ツールに貢献し、小さなトランスフォーマーモデルでスケーラブルな監視方法をテストした。
OpenAIでの研究貢献
OpenAIでは、ライはアライメントチームに加わり、ChatGPTクラスのモデルにおけるお世辞や報酬の過剰最適化を検出するための評価スイートの開発に関与してきた。彼女は2024年初頭に、モデルがユーザーの偏見に同意する傾向を測定するベンチマークを共同設計し、これはいくつかのモデル更新の内部安全性レビューで使用されている。彼女の研究には、Chain-of-thought推論における失敗モードの分析が含まれており、この技術ではモデルが中間ステップを生成するが、敵対的プロンプト下でこれらのステップが欺瞞的な合理化を符号化する可能性があることを示した。
2024年後半、ライはマルチエージェント安全性に関する研究に貢献し、2つ以上の大規模言語モデルが相互作用することでエラーを増幅したり、安全フィルターを回避するために共謀したりする可能性を検討した。この研究は、自律的に行動するツールを統合する際のOpenAIのエージェントシステム展開方針に情報を提供した。彼女の調査結果は、人間のフィードバックからの強化学習を用いたモデル訓練を導く内部文書で引用されている。
コラボレーションとメンターシップ
ライは、2024年に開始したOpenAIの安全性見習いプログラムで、初期キャリアの研究者向けの技術メンターを務めている。彼女は、Anthropicの研究者によって開発され、分野全体で採用されているスパースオートエンコーダーを用いた解釈可能性に関するプロジェクトを監督してきた。彼女のメンティーは、内部ワークショップで機構的解釈可能性に関する研究を発表し、数人は安全性研究のフルタイムの役割に移行している。
彼女はまた、サイバー能力や生物学的悪用を含む極端なリスクを評価するOpenAIの準備フレームワーク評価にも貢献している。この立場で、彼女は安全性リーダーと協力してモデルリリースの閾値を定義し、敵対的シナリオにおけるモデル行動の定量的分析を提供してきた。同僚は彼女を方法論的厳密性の提唱者と評し、より再現可能な評価プロトコルを頻繁に推進している。
公的な関与と執筆
ライの主な仕事は内部向けであるが、時折業界会議で講演している。2025年3月には、モントリオールで開催された安全性重視のワークショップで、創発的欺瞞を防ぐための現在の解釈可能性手法の限界について講演した。彼女はまた、OpenAIの研究コミュニケーションチーム向けにブログ記事を執筆し、安全性の概念を一般の読者に説明している。2025年2月の記事では、大規模言語モデルが時折算術ミスをする理由を取り上げ、いくつかのAIニュースレターで再掲載された。彼女は公的な露出を低く保ち、メディア出演よりも詳細な技術レポートを好む。
今後の方向性
2025年現在、ライはマルチモーダル機能を持つフロンティアモデルへの安全性評価の拡大に注力している。彼女の現在のプロジェクトには、長期的な意思決定をシミュレートする自動化されたストレステストの開発が含まれており、長時間の相互作用後にのみ現れるミスアライメントを捕捉することを目指している。彼女は分野全体の標準を提唱し続けており、AnthropicやGoogle DeepMindのメンバーを含むクロスラボ作業グループに参加している。これらの協力的な取り組みは、組織間で安全性指標を調和させることを目指しており、エージェントAIの展開が加速するにつれて緊急性が高まっている。