セルラー・ニューラル・ネットワーク（CNN）は、並列的かつ局所的に接続された計算のために設計された人工ニューラルネットワークの一種である。グローバルな接続を持つ従来のニューラルネットワークとは異なり、CNNはセル（ニューロン）の規則的なグリッドで構成され、各セルはその直接の近傍とのみ相互作用する。このアーキテクチャは生物の網膜やセルラー・オートマトンの構造を模倣しており、画像などの二次元信号の効率的なリアルタイム処理を可能にする。この概念は1988年にカリフォルニア大学バークレー校のレオン・O・チュアとリン・ヤンによって導入され、以来、画像処理、パターン認識、動的システムシミュレーションに応用されてきた。
CNNの特徴的な性質はその局所的な接続性である。各セルは小さな近傍（典型的には3x3または5x5の領域）から入力を受け取り、一連の微分方程式に基づいてその状態を更新する。この局所性により、完全に接続されたネットワークと比較して接続数が削減され、高い並列性を持つハードウェア実装が可能になる。CNNは連続時間（アナログ）と離散時間（デジタル）の両方のモードで動作でき、ネットワークのダイナミクスを定義するさまざまなテンプレートをサポートする。これらのテンプレートは、エッジ検出、ノイズフィルタリング、特徴抽出などの操作を実行するようにプログラムできる。
歴史と発展
セルラー・ニューラル・ネットワークは、1988年にチュアとヤンによってIEEE Transactions on Circuits and Systemsに掲載された論文「Cellular Neural Networks: Theory and Applications」で提案された。当初の動機は、電子回路のアナログ的な性質を活用して、画像処理用のリアルタイムかつ低消費電力のプロセッサを作成することであった。初期の実装ではオペアンプと抵抗器が使用されたが、後のバージョンではデジタルロジックとフィールドプログラマブルゲートアレイ（FPGA）が組み込まれた。
1990年代には、研究者たちは元のCNNモデルを非線形テンプレート、多層構成、学習アルゴリズムを含むように拡張した。1993年にタマス・ロスカとチュアによって導入されたCNNユニバーサルマシン（CNN-UM）は、プログラム可能なフレームワークを提供し、ソフトウェアエミュレーションとハードウェアプロトタイピングを可能にした。これにより、ハンガリー科学アカデミーによるACE16kチップが開発され、128x128画像を毎秒数千フレームで処理できた。これらの進歩にもかかわらず、2010年代の深層学習の台頭により、研究の焦点は畳み込みニューラルネットワーク（CNN）へと移行した。これは名前を共有するが、アーキテクチャとトレーニング方法において根本的に異なる。
アーキテクチャと動作
セルラー・ニューラル・ネットワークは、M x Nのセルのグリッドによって定義され、各セルは状態変数、入力、出力を持つ。セルのダイナミクスは、自身の状態、近傍セルの入力と出力、およびバイアス項を組み込んだ一次微分方程式によって支配される。相互作用の重みは、Aテンプレート（フィードバック）とBテンプレート（フィードフォワード）の2つの行列によって指定される。これらのテンプレートは通常、3x3などの小さなものであり、すべてのセルで同一であるため、ネットワークは並進不変性を持つ。
各セルの出力は、その状態の非線形関数であり、多くの場合、区分的線形シグモイドである。これにより、ネットワークはテンプレート値に応じて、安定した固定点、振動、カオスなどの複雑な挙動を示すことができる。実際には、CNNは空間フィルタとしてよく使用される。適切なテンプレートを選択することで、ネットワークはソーベルエッジ検出、ガウス平滑化、またはモルフォロジー変換などの操作を実行できる。ネットワークの並列的な性質により、すべてのセルが同時に更新されるため、ハードウェアアクセラレーションに適している。
応用
セルラー・ニューラル・ネットワークは主に画像およびビデオ処理に応用されてきた。監視システムにおけるリアルタイムのエッジ検出、画像セグメンテーション、動き検出に使用される。医用画像では、CNNはX線およびMRI画像の強調、ならびに網膜スキャンにおける異常検出に使用されてきた。CNNのアナログ実装は低消費電力を提供し、ポータブルデバイスや組み込みシステムに有利である。
画像処理以外にも、CNNは偏微分方程式の解法、反応拡散系のモデリング、生物学的ニューラルネットワークのシミュレーションに使用されてきた。また、連想記憶やパターン分類タスクにも探求されている。しかし、機械学習と生成AIの出現により、ほとんどの実用的な応用は現在、GPU上で実装された畳み込みニューラルネットワーク（CNN）に依存しており、これはより大きな柔軟性とスケーラビリティを提供する。2020年代現在、セルラー・ニューラル・ネットワークはニッチなトピックであり、主に学術的な設定と特殊なハードウェア研究で研究されている。
畳み込みニューラルネットワークとの比較
類似した頭字語にもかかわらず、セルラー・ニューラル・ネットワークと畳み込みニューラルネットワークは明確に異なる。畳み込みニューラルネットワークは、学習されたフィルタを持つフィードフォワードアーキテクチャであり、大規模なデータセットでのバックプロパゲーションによってトレーニングされる。空間位置全体で共有される重みと複数の層を使用して、階層的な特徴を抽出する。対照的に、セルラー・ニューラル・ネットワークは、固定または手動で調整されたテンプレートを持つ再帰的で局所的に接続されたシステムであり、多くの場合アナログハードウェアで実装される。前者は画像認識や自然言語処理などのタスクで優れており、後者はリアルタイムかつ低消費電力の信号処理に適している。
両方の名前における「セルラー」という用語は、処理ユニットのグリッド状の配置を指すが、動作原理は異なる。セルラー・ニューラル・ネットワークは連続時間のダイナミクスと局所的な相互作用を強調するのに対し、畳み込みニューラルネットワークは離散畳み込みと非線形活性化に依存する。この区別は、特定のアプリケーションに適切なモデルを選択する研究者やエンジニアにとって重要である。
ハードウェア実装
セルラー・ニューラル・ネットワークの主な利点の1つは、ハードウェア実現への適合性である。アナログVLSI実装は、各セルが単純な回路であるため、非常に高いスループットと低いエネルギー消費を達成できる。最初の専用CNNチップであるCNNユニバーサルマシンは1990年代に開発され、リアルタイムのビデオ処理を実証した。後に、FPGAと特定用途向け集積回路（ASIC）を使用したデジタル実装は、より多くの柔軟性と精度を提供した。
Nokia Bell Labsを含む企業や研究機関、およびさまざまな大学が、エッジコンピューティング用のCNNハードウェアを探求してきた。しかし、CNNハードウェアの商業的成功は、深層学習用に設計されたGraphcoreやGroqアクセラレータと比較して限定的である。セルラー・ニューラル・ネットワークのニッチな性質により、現代のハードウェア開発のほとんどは、現在のAI環境を支配するTransformer (architecture)ベースのモデルと大規模言語モデルに焦点を当てている。
関連項目
参考文献
- Chua, L. O., & Yang, L. (1988). Cellular Neural Networks: Theory and Applications. IEEE Transactions on Circuits and Systems.
- Roska, T., & Chua, L. O. (1993). The CNN Universal Machine: An Analogic Array Computer. IEEE Transactions on Circuits and Systems II.