AI安全性は、人工知能システムによる害を防ぐことを目的とした学際的な分野であり、バイアス、誤情報、悪用といった短期的な問題から、人間が高度に能力の高い将来のシステムに対して有意義な制御を維持できるかどうかという長期的な懸念までを対象としている。この分野は機械学習研究、政策、哲学に基づいており、実務者の間ではどのリスクに最も注意を払うべきかについて意見が分かれており、この分裂はしばしば非公式に「短期的」対「長期的」安全性と呼ばれる。
範囲
短期的なAI安全性の取り組みは、現在展開されているシステムに見られる問題に対処するものである：偽のまたは捏造された記述を生成するモデル（幻覚として知られる失敗）、プロンプトインジェクションや脱獄によって指示を無視するように操作される可能性のあるシステム、そしてシステムを使い物にならなくせずに有害な出力をフィルタリングまたはブロックするガードレールを構築するという広範な課題である。長期的なAI安全性の取り組みは、AIによる実存的リスクに関係しており、汎用人工知能や超知能に近づくシステムが、人間の利益と一致しない目標を、元に戻すのが難しい方法で追求する可能性を含む。両方の流れは、システムの実際の行動を設計者の意図に一致させる問題である整合性を基礎と見なしている。
歴史と機関
組織的なAI安全性研究は、2020年代初頭の大規模言語モデルのスケーリング後に大幅に成長した。Anthropicは2021年に元OpenAI研究者によって設立され、その一部はフロンティアモデルを直接構築し研究する必要があると感じた安全性研究を追求するためであった。Machine Intelligence Research InstituteやCenter for AI Safetyなどの学術・非営利機関は、エリエザー・ユドコウスキーやダン・ヘンドリクスを含む研究者と関連しており、高度なAIからの極端なリスクを真剣な可能性として扱うべきだと主張してきた。2023年には、ヘンドリクスのセンターは、主要な研究所のリーダーが署名した一文の声明を発表し、AIによる絶滅リスクをパンデミックや核戦争に匹敵する世界的優先事項として扱うことを求めた。政府は新しい機関や協定で対応し、2023年11月の英国初のAI安全性サミットでのブレッチリー宣言、英国と米国の国家AI安全性研究所、そしてEU AI法などの拘束力のある規制を含む。
技術
実践的な安全性技術には、テスト担当者がシステムの展開前に意図的に有害な行動を引き出そうとするレッドチーミング、モデルの内部計算を理解しようとする解釈可能性研究（出力だけで判断するのではなく）、モデルの行動を訓練中に形成する人間のフィードバックからの強化学習や憲法的AI、そしてサイバー攻撃やバイオ兵器設計の支援能力などの危険な能力をテストする評価フレームワークが含まれる。一部の研究所は、モデルがより能力を高めるにつれて追加の安全策をトリガーする能力閾値を公開しており、これはAnthropicの責任あるスケーリングポリシーなどのフレームワークに反映された慣行である。
議論
一方の批評家は、実存的枠組みがアルゴリズムバイアス、労働力の置き換え、訓練実行の環境コストなどの具体的な現在の害から注意と資金をそらすと主張する。もう一方の批評家（一部のAI安全性研究者自身を含む）は、ますます能力の高いシステムを構築する競争に参加する研究所からの自発的なコミットメントは、外部の執行なしでは不十分であり、企業と国家間の競争圧力が公にされた安全性の約束を損なうと主張する。この分野はまた、基本的な測定問題に直面している：数十年のインシデントデータを持つ安全性重視の産業とは異なり、AI安全性の取り組みが防ごうとしている害の確率を定量化する確立された方法がなく、優先順位に関する根本的な議論が未解決のままになっている。