ニューラルチューリングマシン（NTM）は、チューリングマシンをエミュレートするリカレントニューラルネットワークモデルである。2014年にAlex Gravesらによって発表された。NTMは、ニューラルネットワークのファジィパターンマッチング能力と、プログラム可能なコンピュータのアルゴリズム処理能力を組み合わせ、単純なアルゴリズムを例から学習することを可能にする。
このアーキテクチャは、外部メモリリソースに結合されたニューラルネットワークコントローラで構成される。コントローラは注意機構を通じてメモリと相互作用し、システム全体はエンドツーエンドで微分可能であるため、勾配降下法による最適化が可能である。長短期記憶（LSTM）コントローラを用いると、NTMはコピー、ソート、連想想起などのアルゴリズムを例のみから推論できる。
アーキテクチャと動作
NTMのコントローラは通常、LSTMやフィードフォワードネットワークなどのリカレントニューラルネットワークである。入力を受け取り出力を生成するとともに、外部メモリ行列に対する読み出しおよび書き込み操作を生成する。メモリはコンテンツベースおよび位置ベースの注意機構を用いてアドレス指定され、ネットワークが特定のメモリ位置に焦点を当てることを可能にする。これらの操作の微分可能な性質により、バックプロパゲーションによるトレーニングが可能となる。
歴史的背景と影響
Gravesらによる2014年の論文は、ディープラーニングが急速に進歩していた時期に発表された。NTMは、外部メモリをニューラルネットワークに明示的に統合した最初のモデルの一つであり、後のTransformer (architecture)や大規模言語モデルなどのアーキテクチャに影響を与えた。この概念はチューリングマシンから着想を得ており、ニューラルネットワークと記号計算の間のギャップを埋めることを目指していた。
実装と課題
原著者らはソースコードを公開していない。最初の安定したオープンソース実装は、2018年に第27回国際人工ニューラルネットワーク会議で登場し、最優秀論文賞を受賞した。他のオープンソース実装も存在するが、2018年時点では本番運用に十分な安定性はなかった。開発者は、不明な理由によるトレーニング中の勾配のNaN化、収束の遅さ、学習速度の報告の欠如などの問題を報告している。
拡張と遺産
微分可能ニューラルコンピュータはNTMの派生であり、メモリ活動を制御し性能を向上させるためのより洗練された注意機構を組み込んでいる。NTMの概念は、ニューラルネットワークや機械学習の研究全般、特にメモリ強化モデルを必要とする分野にも影響を与えている。