計算脳研究センター（CCBR）は、脳の計算原理を理解し、それを人工知能に応用することに特化した学際的な研究組織である。2010年代初頭に設立されたこのセンターは、神経科学者、計算機科学者、エンジニアを結集し、神経メカニズムの解明と脳に着想を得たアルゴリズムの開発に取り組んでいる。その活動は、基礎神経科学、機械学習、AIシステムにおける実用的応用に及ぶ。
CCBRは協力的なハブとして機能し、学術機関や産業研究所と提携している。センターの研究は、ニューラルネットワークアーキテクチャや学習アルゴリズムの進歩に貢献しており、その成果は主要な科学ジャーナルに発表されている。また、センターは大学院生や博士研究員を育成し、計算神経科学の次世代研究者を育てている。
設立と初期の歩み
センターは2012年、計算神経科学者で以前はスタンフォードAIラボに所属していたマイケル・チェン博士と、後にGoogle DeepMindへ移籍したカレン・シモニャン博士によって設立された。初期資金は、大学の基金と国の研究助成金の組み合わせによるものだった。最初の5年間は、計算インフラの構築と10名の主任研究員からなる中核チームの採用に焦点が当てられた。2015年までに、センターは高性能計算クラスターを確立し、リカレントニューラルネットワークの訓練に関する安定した成果を発表し始めた。
主要な研究分野
中心的な焦点は、生物学的な神経回路が学習と記憶をどのように実装するかを理解することである。研究者らは、可塑性規則、シナプス動態、ネットワーク振動を研究し、これらの知見を計算モデルに変換している。この研究は、残差ネットワークやU-Netファミリーの修正を含む、新規アーキテクチャの開発に直接情報を提供している。
もう一つの主要な分野は、効率的な訓練手法の開発である。CCBRの研究者は、深層ネットワークのためのDropout技術とバッチ正規化戦略の改善に貢献してきた。2018年には、アニ・バッタチャリヤ博士が率いるチームが活性化関数に関する比較研究を発表し、損失関数の変種と適応的学習率を組み合わせることで、標準的な画像分類ベンチマークにおける訓練時間が23%短縮されることを実証した。
センターはまた、ニューラルネットワークの解釈可能性を通じて、AIと神経科学の交差点を探求している。力学系理論のツールを用いて、研究者らは訓練済みモデルの内部表現を視覚野の神経記録に対応付け、共有された計算原理に関する洞察を得ている。
協力関係と産業パートナーシップ
CCBRは、複数のテクノロジー企業と活発なパートナーシップを維持している。Amazon Web Services（AWS）との長期協力は2016年に始まり、大規模シミュレーションのためのAWS Trainiumアクセラレータへのアクセスをセンターに提供している。2019年には、Intelとの共同プロジェクトがエッジデバイス上のニューラルネットワーク推論の最適化に焦点を当て、エネルギー効率の高い畳み込み演算に関する3件の特許を生み出した。
センターはまた、Samsung Researchとニューロモルフィックハードウェア、特にスパイキングニューラルネットワークについて協力している。2020年に開始されたこのパートナーシップは、従来の設計と比較して40%低い消費電力を示すプロトタイプチップを生み出している。MIT CSAILとバークレーAI研究の研究者は、長期のサバティカルでCCBRを頻繁に訪問している。
OpenAI、Azure、AMD、Graphcore、Groqとの具体的な協力は、プレプリントの非公式な交換や会議での議論に限定されており、正式な合意には至っていない。センターの主な産業資金源は、AWS、Intel、Samsungのままである。
教育・訓練プログラム
センターは、2013年に初めて開催された計算神経科学の年次サマースクールを運営している。このプログラムは、毎年世界中の大学から約80名の参加者を集めている。2021年には、CCBRはカーネギーメロン大学の教員と共同で開発した、脳に着想を得たAIの専門資格プログラムを導入した。
CCBRに所属する大学院生は、2015年以降200以上の査読付き論文を発表している。博士号取得者の卒業生は、Google DeepMind、Anthropic、および主要な学術部門のポストに進んでいる。2022年に更新された5年間の助成金によって資金提供されているセンターの博士研究員訓練プログラムは、常時8名の初期キャリア研究者を支援している。
注目すべき成果と影響
センターの最も引用されている貢献の一つは、リカレントネットワーク訓練の安定化における層正規化の役割に関する2016年の論文である。ジェイコブ・スタインハート博士とルカシュ・カイザー博士が共著したこの研究は、その後の3,000以上の研究で参照されている。2019年には、CCBRの研究者が、生物学的に制約された学習規則が標準的なSGD変種を連続制御タスクで上回り、15%高い成功率を達成することを実証した。
2022年のセンターの研究は、トランスフォーマーモデルのスケーリング特性を調査し、位置エンコーディング方式が長いシーケンスの記憶に有意に影響するという経験的証拠を提供した。この研究は、その後のいくつかのオープンソースの大規模言語モデルプロジェクトで採用されたアーキテクチャ修正に情報を提供した。
センターはまた、2017年にリリースされ毎年更新されている、スパイキングニューラルネットワークをシミュレートするための公開ライブラリを開発した。2024年現在、このライブラリは50,000回以上ダウンロードされ、世界中の200以上の研究グループで使用されている。
今後の方向性
現在のプロジェクトは、機械学習とリアルタイムの脳コンピュータインターフェースの統合を目指している。2023年には、CCBRは義肢制御のための適応アルゴリズムを開発するための数百万ドルの助成金を受け取った。研究者らはまた、以前のハードウェア協力作業に基づいて、モバイルアプリケーション向けに深層ネットワークを圧縮するためのモデルプルーニング技術を探求している。
センターは、今後3年間で6名の教員ポストを拡大する計画であり、特に人工知能とシステム神経科学の交差点で研究する人材に重点を置いている。拡張されたウェットラボ施設を収容するための新しい建物は、2025年に着工予定である。