常識知識とは、水は濡れている、物を落とせば落下する、人は空腹を感じるといった、ほとんどの人が当然のこととして受け入れている、世界に関する基本的で実用的な事実の集まりである。それは日常的な推論とコミュニケーションを支え、人間が明示的な指示なしに賢明な推論を行うことを可能にする。人工知能において、常識知識は、テキストやデータに明示的に記述されることは稀である一方、堅牢な自然言語理解、計画、物理的環境との相互作用に不可欠であることから、長年にわたり主要な課題として認識されてきた。
専門的な知識とは異なり、常識知識は広範で、文化横断的であり、しばしば暗黙的である。それには物理的直感（例えば、固体の物体は互いに通過できない）、社会的規範（例えば、人は通常、挨拶に応答する）、時間的推論（例えば、出来事は順番に起こる）が含まれる。AIシステム、特に機械学習と深層学習に基づくものは、通常、そのような明白な真実を含まない可能性のある大規模データセットから学習するため、新規または曖昧な状況を処理する能力にギャップが生じる。
歴史的アプローチ
AIにおける常識知識を形式化する初期の試みは1970年代から1980年代に遡り、ジョン・マッカーシーなどの研究者が常識の論理的形式化を提唱した。1984年にダグラス・レナットによって開始されたCycなどのプロジェクトは、何百万もの常識的事実を機械可読なオントロジーに手動でエンコードすることを目的とした。Cycは明示的な知識表現の実現可能性を示したが、その拡張性と維持管理は困難であることが判明した。同時に、ロジャー・シャンクの概念的依存関係に関する研究などのフレームベースシステムやスクリプトは、レストランでの食事のような日常的なシナリオをモデル化しようとした。
これらの記号的アプローチは、脆く不完全であると批判され、常識の広大で微妙で文脈依存的な性質を容易に処理できなかった。1990年代までに統計的手法が勢いを増したが、当初は品詞タグ付けや構文解析などの狭いタスクに焦点を当てており、常識はほとんど扱われなかった。
現代の機械学習とニューラルモデル
ニューラルネットワークアーキテクチャ、特にトランスフォーマーベースのモデルの台頭により、テキストから暗黙的に常識を学習する方向へ焦点が移った。OpenAIやAnthropicによって開発されたような大規模言語モデルは、インターネットから数十億語のテキストで訓練されており、これには常識的な記述も含まれるが、ノイズも多く含まれる。これらのモデルは、「パンを切るのに何を使いますか？」といった単純な常識的な質問に高い精度で答えることができるが、敵対的または反事実的な例ではしばしば失敗し、その知識が物理的経験に基づくものではなく統計的であることを明らかにしている。
研究者は、これらの能力を評価するために、CommonsenseQAやPhysical Interaction QAなどのベンチマークを導入した。例えば、モデルに「硬い床にグラスを落としたらどうなるか？」と尋ね、「割れる」と「浮く」のどちらかを選択させる。現代のモデルはこのようなテストで良好な成績を収めるが、空間的関係や時間的順序の混同など、微妙なエラーに対しては依然として脆弱である。この限界は、大規模言語モデルがもっともらしいが事実的に誤った応答を生成する場合に特に顕著であり、これは堅牢な世界モデルの欠如に起因することが多い。
知識グラフとハイブリッドシステム
ニューラルアプローチを補完するために、一部の研究者は、クラウドソーシングや既存のリソースから事実を集約するConceptNetなどの常識知識グラフを構築した。これらのグラフには、概念のノードと、「使用される」、「できる」、「位置する」などの関係のエッジが含まれる。ハイブリッドシステムは、これらの記号的構造とニューラルモデルを組み合わせ、モデルが推論中に関連する事実を取得できるようにする。例えば、質問応答システムは、回答を生成する前に、ナイフが切断に使用されることを検証するためにConceptNetを照会する可能性がある。
Google DeepMindなどの企業や、MIT CSAILやスタンフォードAIラボなどの学術研究所は、エージェントがオブジェクトのアフォーダンスや物理的ダイナミクスについて推論する必要がある強化学習エージェントへの常識の統合を探求してきた。これらの取り組みは、静的なデータにのみ依存するのではなく、シミュレーション環境を使用して、相互作用を通じてエージェントに常識を教えることが多い。しかし、記号的知識と連続的な知覚の間のギャップを埋めることは、依然として未解決の問題である。
課題と限界
主要な課題の1つは「知識獲得のボトルネック」である。常識を手動でエンコードすることは労働集約的であり、テキストからの自動抽出はノイズが多く不完全である。もう1つの問題は、文化的および文脈的な変動性である。あるコミュニティでの常識が別のコミュニティでは当てはまらない可能性があり、普遍的なモデルの作成が困難になる。さらに、常識的推論は、視覚と言語などの複数のモダリティの統合を必要とすることが多く、現在のモデルはそれを部分的にしか処理できない。
評価も問題である。多くのベンチマークは飽和可能であり、モデルは真の理解を示すのではなく、パターンを記憶することで高いスコアを達成できる。メラニー・ミッチェルやジョシュア・テネンバウムなどの研究者は、因果推論と反事実的思考を探る、より厳密なテストを提唱している。例えば、「重力が弱かったらどうなるか？」と尋ねることは、柔軟な心的シミュレーションを必要とし、ほとんどのAIシステムはそれを欠いている。
将来の方向性
新しいアプローチには、カリキュラム学習を使用してモデルを徐々に複雑な常識タスクで訓練することや、データ拡張を活用してエッジケースをカバーする合成訓練例を生成することが含まれる。一部の研究では、Figure AIやSanctuary AIのロボットなど、身体的な試行錯誤を通じて常識を学習する必要がある具現化エージェントへの言語の接地を探求している。さらに、RLHFで使用されるような人間のフィードバックからの強化学習は、モデルの出力を人間の常識の期待に合わせるのに役立つ。
進歩にもかかわらず、常識知識はAIにおける定義的な未解決問題のままである。モデルがより高性能になるにつれて、特に安全性が重要なアプリケーションにおいて、真の理解の欠如がより顕著になる。この分野は、記号的推論、統計的学習、具現化された相互作用の強みを組み合わせた統一フレームワークを引き続き模索しており、人間と同じように簡単に日常世界をナビゲートできるシステムの作成を目指している。