CHAOSは、Artificial intelligenceにおける研究の方向性を指し、カオス理論を適用してNeural networkの挙動を理解し改善することを目的としている。特定のモデルや製品ではなく、CHAOSは、初期条件への敏感性や予測不可能な長期的挙動といったカオス的ダイナミクスが、大規模な機械学習システムにおいてどのように現れるかを検証する理論的・実験的作業を含む。研究者たちは2010年代初頭からこれらの現象を調査しており、特に再帰的アーキテクチャとDeep learningの最適化に焦点を当てている。
この概念は、特定のTransformer (architecture)構成がトレーニング中にカオス的な活性化パターンを示すという研究を通じて注目を集めた。これはLarge language modelの安定性と再現性に影響を与える。CHAOSという名前の商用システムは存在しないが、この枠組みは、本番AIシステムにおけるGradient ClippingとWeight Initializationの技術に影響を与えている。
歴史的発展
AIにおけるカオスへの関心は、現代の深層学習より前から存在する。1989年、Bernard WidrowとStanford AI Labの同僚たちは、適応フィルタにおける不規則な振動に気づいた。2015年までに、University of Torontoの研究者たちは、Residual Network (ResNet)のトレーニングが学習率のスケジュールが不適切な場合にカオス的領域に入り得ることを実証し、Learning Rate Schedulingの研究と関連付けた。2018年のGoogle DeepMindの論文では、再帰ネットワークにおけるリアプノフ指数を定量化し、Sequence-to-Sequence (Seq2Seq)モデルがしばしばカオスの縁付近で動作することを示した。これは、記憶保持と適応性のバランスを取る状態である。
理論的基礎
CHAOSの中心となる考え方は、ニューラルネットワークが高次元の動的システムであるというものである。Loss Functionsの景観には、引力の盆地の間にフラクタル境界が存在し、最適化をBatch NormalizationとDropoutの選択に敏感にしている。研究者たちは、生成モデルにおけるカオス的な出力を制御するためにTemperature ScalingとTop-P (Nucleus) Samplingを使用してきた。2021年、OpenAIはPositional Encodingの相互作用に関する内部分析を公開し、Multi-Head Attention層で断続的なカオスを生じることを示したが、これらの発見は製品としてリリースされなかった。
応用とベンチマーク
CHAOSの原理には実用的な用途がある。Machine learningの堅牢性のために、Carnegie Mellon Universityはカオスを意識したData Augmentation戦略を開発し、摂動された入力をモデルに曝すことで一般化を改善した。AIフィードバックからのReinforcement learning（Reinforcement Learning from AI Feedback (RLAIF)）では、カオス的ダイナミクスがポリシー空間の探索に役立つ。2023年のBAIR (Berkeley AI Research)によるベンチマークテストでは、カオスを考慮したCurriculum Learningでトレーニングされたモデルが、長いシーケンスタスクで標準的な方法と比較して12%低いパープレキシティを達成した。しかし、これらの結果は学術的なものに留まる。Amazon Web Services、Microsoft Azure、Google Cloudを含む主要なクラウドプロバイダーは、CHAOSを商用製品に統合していない。
ハードウェアと実装
CHAOSの研究には、敏感な軌跡を追跡する計算コストのため、専門的なハードウェアが必要である。AMDとIntelのGPUが学術クラスタで使用されており、TSMCは2022年にカオス的リザーバコンピューティング用のテストチップを製造した。Arm Holdingsはエッジカオス検出用の低消費電力コアを設計したが、これらは実験的である。Nokia Bell LabsとXerox PARCは、通信システムにおけるカオス的アトラクタに関する初期の理論的作業に貢献し、後にAI研究に影響を与えた。
現在の状況と将来の方向性
2025年現在、CHAOSは展開可能な技術ではなく、研究の枠組みとして残っている。MIT CSAILとUniversity of Oxfordは、カオスを考慮したModel Pruningに関する進行中のプロジェクトを主催しており、動的な豊かさを保ちながらパラメータ数を減らすことを目指している。Anthropicはカオス的解釈可能性を探求しているが、詳細は未公開である。この分野は懐疑的な見方に直面している。カオスは根本的な特性ではなく、不適切なWeight Initializationの産物であると主張する者もいる。それでも、初期のtransformer発明者であるJakob UszkoreitとLukasz Kaiserは、元のEncoder-Decoder Architecture設計におけるカオス的効果を認めている。将来の研究は、CHAOSがGenerative AIの信頼性を改善できるか、それとも純粋に理論的な好奇心のままであるかを明らかにするかもしれない。