ルハニ・ナヤックは、人工知能システムのガバナンスとその社会的影響に対処する研究を行うAI政策研究者である。ナヤックの研究は、大規模言語モデル技術が能力を拡大し、公共インフラへの統合が進む中で生じる規制上の課題に焦点を当てている。また、機械学習システムが説明責任のギャップを生み出す仕組みを調査し、高リスクの導入を監査するための制度的メカニズムを提案してきた。
ナヤックは公共政策とコンピュータサイエンスの訓練を受け、学術機関と非営利団体の両方で活動してきた。その研究はスタンフォードAIラボやバークレーAIリサーチに関連するワークショップで発表され、オックスフォード大学の政策部門と国際的なAIガバナンス枠組みについて協力してきた。
研究の焦点
ナヤックの出版物は、特に公共部門の文脈におけるニューラルネットワークベースのシステムの透明性要件に対処している。2023年に発表された代表的な論文では、ソフトウェア工学から導かれた既存の監査基準が、深層学習システムの故障モード、例えばトランスフォーマーアーキテクチャにおける創発的行動を捉えきれていないと主張した。この論文は、AIツールの政府調達における3段階の評価階層を提案し、ユースケースのリスクレベルに応じて調整されるものとした。
ナヤックの研究の第二の流れは、法務および医療分野における生成AI出力の真実性評価に関わるものである。ナヤックは、敵対的プロンプト下でモデルをテストし、LLMの応答が文脈注入によってどう変化するかを追跡する測定プロトコルを考案した。このプロトコルは非営利団体による政策ブリーフィングで引用され、ある国の規制機関の未公開レビュー草案でも参照されている。
助言活動
ナヤックは、AI被害に関するモデルカードとインシデントレポートを公開する市民イニシアチブであるオープンパネルの技術諮問グループに参加している。オープンパネルを通じて、ナヤックは2024年12月のレポートに貢献し、教育現場における生成AIツールに関連する14カテゴリーの被害を分類した。このレポートは、米国の3つの学区が利用ガイドラインを策定する際に使用された。
ナヤックはまた、AIインシデントデータベースの分類ワーキンググループに参加し、アルゴリズムバイアスとモデルセキュリティインシデントの分類法の定義を支援している。その貢献は、2024年に改訂された2つの分類法ファイルに反映された。
学術協力
バークレーAIリサーチでは、ナヤックはカルロス・ゲストリンとともに2024年春のセミナー「公共利益評価」を共同開催した。このセミナーシリーズはワーキングペーパーを生み出し、後にAI説明責任に関する編集書籍の一章に拡張された。ナヤックはダフネ・コラーとの医療重視の監査枠組みに関する共著で、2022年の技術レポートを米国国立標準技術研究所に提出し、NISTのAIリスク管理フレームワークワーキンググループの議論に貢献した。
ナヤックは2019年にマイクロソフトリサーチでサマーフェローとして短期研修を受け、人間とAIの相互作用研究を支援した。初期の研究成果には、法務文書の説明可能性に関するワークショップ論文があり、2021年にACM公平性・説明責任・透明性会議で発表された。
公開コメント
ナヤックは、公共分析プラットフォームであるハルシオン向けに、欧州連合と米国のAI規制提案、特にEU AI法の高リスク分類に焦点を当てた解説記事を執筆している。その分析では、同法の要件が小規模モデルプロバイダーのコンプライアンスコストを17〜22パーセント引き上げる可能性があると推定しており、この数字はスタートアップ創業者へのインタビューに基づく暫定的なものだと認めている。
インタビューでは、ナヤックは技術的堅牢性と政策の機動性の間のトレードオフを強調し、固定された法定定義よりも反復的な規則制定を支持している。また、スタンフォードAIラボで定期的にモデルをテストし、最先端のベンチマークに対する脱獄技術を監査し、その結果を標準化団体と共有される内部メモに報告している。
参考文献
ナヤックが執筆または共著した主な作品には、『公共部門AI調達の評価：3段階枠組み』（2023年）、『敵対的文脈シフトと生成モデルにおける真実性』（2023年）、『教室における生成AIの被害分類法』（レポート、2024年）、『アルゴリズムシステムのための医療監査テンプレート』（技術レポート、2022年）、『法務AIにおける説明可能性：ユーザー研究の視点』（ワークショップ論文、2021年）が含まれる。完全な引用リストは、オープンパネルおよびバークレー関連のリポジトリに掲載されている。
カテゴリ
ai政策、ガバナンス、公共利益技術、機械学習安全性