人工知能安全研究所は、先進的な人工知能（AI）モデル、いわゆるフロンティアAIモデルの評価と安全性の確保を目的とした、政府系組織の一種である。これらの研究所は通常、導入前テストの実施、評価基準の開発、そして最も高性能なAIシステムに関連するリスクに対処するための国際協力を行っている。その設立は、AIによる潜在的な害、すなわち実存的リスクに対する政府の懸念の高まりを反映している。
AI安全性は2023年に注目を集め、特にAIによる潜在的な実存的リスクに関する公的な声明がなされた。2023年11月のAI安全サミットでは、英国と米国がそれぞれ独自のAISIを設立した。2024年5月のAIソウルサミットでは、国際的なリーダーたちがAI安全研究所のネットワークを形成することに合意し、英国、米国、日本、フランス、ドイツ、イタリア、シンガポール、韓国、オーストラリア、カナダ、欧州連合の研究所が参加した。2025年には、英国のAI安全研究所は「AI安全保障研究所」に改名され、米国の対応機関はAI標準・イノベーションセンター（CAISI）となった。
年表
2023年、英国首相リシ・スナクは「英国をAI安全規制の知的拠点だけでなく地理的拠点にする」意向を表明し、AI安全サミットの計画を発表した。彼は独立した安全性評価の必要性を強調し、AI企業は「自分の宿題を自分で採点することはできない」と述べた。2023年11月のサミットで、英国AISIはフロンティアAIタスクフォースの進化形として正式に設立され、米国AISIは国立標準技術研究所の一部として設立された。日本も2024年2月にAI安全研究所を立ち上げてこれに続いた。
Politicoは2024年4月、多くのAI企業が評価のために最先端のAIモデルへの導入前アクセスを共有していないと報じた。Metaのグローバル担当社長ニック・クレッグは、多くのAI企業が英国と米国のAI安全研究所が共通の評価規則と手順を策定するのを待っていると述べた。実際、2024年4月に英国と米国の間で、少なくとも1つの共同安全テストで協力する合意が結ばれた。当初ロンドンに設立された英国AI安全研究所は、2024年5月に多くのAI企業が所在するサンフランシスコに事務所を開設すると発表した。これは英国の技術担当大臣ミシェル・ドネランによると、「AI安全性に関する新たな国際基準を設定する」計画の一部である。
国際ネットワーク
2024年5月のAIソウルサミットで、欧州連合と他の国々は独自のAI安全研究所を設立し、国際ネットワークを形成することに合意した。このネットワークは、共同研究、共同テスト演習、および管轄区域間での安全基準の調和を促進する。2025年7月、国際ネットワークはAIエージェントの評価、特に機密情報の漏洩やサイバーセキュリティに関する問題を探る演習を実施した。ネットワークメンバーはまた、サンディエゴ市で開催されたNeurIPS 2025でも会合を持った。
個別の研究所
オーストラリア
アルバニージー政権は2025年11月25日にオーストラリアAI安全研究所の設立を発表した。研究所は産業・科学・資源省の下に置かれ、4年間で2,990万豪ドルの予算が支援されている。その総支配人はケイト・コンロイで、彼女はオーストラリア空軍の責任あるAI部門のリーダーも務めている。
カナダ
カナダは2024年4月にAI安全研究所を設立すると発表し、そのような研究所は2024年11月に正式に設立された。研究所はカナダ革新・科学・経済開発省の下に置かれているが、カナダ高等研究所（CIFAR）とも提携している。5年間で5,000万カナダドルの予算が支援されている。
欧州連合
2024年5月に設立されたEU AIオフィスは、AI安全研究所の国際ネットワークのメンバーである。
フランス
2025年1月31日、フランス政府は国立AI評価・安全研究所（INESIA）を設立した。
インド
電子情報技術省は、2024年10月7日にMeta Platforms、Google、Microsoft、IBM、OpenAI、NASSCOM、Broadband India Forum、Software Alliance、インド工科大学（IITs）、The Quantum Hub、Digital Empowerment Foundation、Access Nowと、AI安全研究所の設立に関連して協議を行った。規制から基準設定、リスク特定、損害検出への焦点移行が決定され、これらすべてには相互運用可能な技術が必要である。AISIは、IndiaAIミッションの「安全で信頼できる柱」に割り当てられた2億ルピーを初期予算として使用する可能性がある。将来の資金はIndiaAIミッションの他の構成要素から来る可能性がある。
ユネスコとMeitYは、2024年からAIにおける安全性と倫理の下でのAI準備評価方法論に関する協議を開始した。これは産業におけるAIの倫理的かつ責任ある使用を促進することを目的としている。この調査は、特に制度的・規制能力の強化の試みにおいて、政府が関与できる領域を見つけるだろう。電子情報技術大臣アシュウィニ・ヴァイシュナウは、2025年1月30日にAIモデルの倫理的かつ安全な適用を確保するためのIndiaAI安全研究所の設立を発表した。研究所は、インドの社会的、経済的、文化的、言語的多様性に基づき、インドのデータセットに根ざした国内研究開発を促進する。学術・研究機関および民間セクターのパートナーの支援を得て、研究所はハブ・アンド・スポーク方式に従い、IndiaAIミッションの「安全で信頼できる柱」内でプロジェクトを実施する。
日本
日本AISI（またはJ-AISI）は2024年2月に設立された。情報処理推進機構の一部であり、約23人を雇用している。研究所はAISI評議会、AISI運営委員会、および6つのチームからなる事務局で構成されている。村上明子（元IBM日本および損保ジャパン）が研究所の執行役員を務め、平本健二と西村卓が2人の副執行役員を務めている。
ケニア
ケニアはAI安全研究所の国際ネットワークに参加することに合意したが、同国はまだ詳細を発表していない。ネットワーク内で唯一のアフリカの国である。
シンガポール
デジタルトラストセンターは当初2022年6月に設立された。2024年5月にシンガポールAISIに改名された。南洋理工大学の一部であり、情報通信メディア開発庁と提携し、年間1,000万シンガポールドルの投資が支援されている。
韓国
韓国は2024年5月に、電子通信研究院の傘下にAI安全研究所を設立すると発表した。年間1,000万から2,000万韓国ウォンの暫定投資が支援され、少なくとも30人を雇用する予定である。研究所は2024年11月に設立され、城南市の盆唐区に拠点を置いている。
評価と基準
AI安全研究所の中心的な機能は、フロンティアモデルの評価方法論の開発である。これらの評価は、大規模言語モデルなどの分野における能力に焦点を当てることが多く、機械学習ベンチマーク、サイバーセキュリティリスク、悪用の可能性に関連するタスクを含む。研究所はまた、透明性と報告に関する共通基準の確立に取り組み、AI開発者が高度なシステムをリリースする前に満たさなければならないベースラインを作成することを目指している。この協力的なアプローチは、努力の重複を避け、安全性評価が異なる国の文脈で一貫していることを保証するのに役立つ。