階層的時間メモリ（HTM）は、Numenta社によって開発された、生物学的に制約された機械知能技術である。2004年にジェフ・ホーキンスとサンドラ・ブレイクスリーによって著された書籍『On Intelligence』で最初に記述され、HTMは現在主にストリーミングデータにおける異常検知に使用されている。この技術は神経科学、および哺乳類（特に人間）の脳の大脳新皮質における錐体ニューロンの生理学と相互作用に基づいている。
HTMの中核には、高次シーケンスを保存、学習、推論、想起できる学習アルゴリズムがある。他のほとんどの機械学習手法とは異なり、HTMはラベル付けされていないデータ内の時間ベースのパターンを（教師なしプロセスで）常に学習する。HTMはノイズに対して頑健であり、高い容量を持つ（複数のパターンを同時に学習できる）。コンピュータに適用される場合、HTMは予測、異常検知、分類、そして最終的には感覚運動アプリケーションに適している。
構造とアルゴリズム
典型的なHTMネットワークは、レベルのツリー状の階層である（以下の説明にある大脳皮質の「層」と混同しないこと）。これらのレベルは、領域（またはノード）と呼ばれるより小さな要素で構成されている。階層内の単一レベルには、複数の領域が含まれる可能性がある。より高い階層レベルには、しばしばより少ない数の領域がある。より高い階層レベルは、低いレベルで学習されたパターンを組み合わせて、より複雑なパターンを記憶することにより、それらを再利用できる。
各HTM領域は同じ基本機能を持つ。学習モードと推論モードでは、感覚データ（例：目からのデータ）が最下位レベルの領域に入力される。生成モードでは、最下位レベルの領域が、与えられたカテゴリの生成パターンを出力する。最上位レベルには通常、最も一般的で最も永続的なカテゴリ（概念）を格納する単一の領域があり、これらは、時間と空間においてより制限された下位レベルのより小さな概念を決定するか、またはそれらによって決定される。推論モードに設定されると、領域（各レベル内）は、その「子」領域から上がってくる情報を、メモリ内に持つカテゴリの確率として解釈する。
各HTM領域は、空間パターン（しばしば同時に発生する入力ビットの組み合わせ）を識別して記憶することにより学習する。次に、空間パターンのうち、次々に発生する可能性が高い時間的シーケンスを識別する。
進化するモデルとして
HTMは、ジェフ・ホーキンスの「千の脳理論」のアルゴリズム的構成要素である。そのため、大脳新皮質に関する新たな発見は徐々にHTMモデルに組み込まれ、モデルはそれに応じて時間とともに変化する。新しい発見は必ずしもモデルの以前の部分を無効にするわけではないため、ある世代のアイデアが次の世代で必ずしも除外されるわけではない。理論の進化する性質のため、HTMアルゴリズムにはいくつかの世代があり、以下で簡単に説明する。
第一世代：ゼータ1
HTMアルゴリズムの第一世代は、ゼータ1と呼ばれることもある。
#### トレーニング
トレーニング中、ノード（または領域）は、空間パターンの時間的シーケンスを入力として受け取る。学習プロセスは2つの段階から構成される：
空間プーリングは、（入力内で）頻繁に観察されるパターンを識別し、それらを「一致」として記憶する。互いに著しく類似したパターンは、同じ一致として扱われる。多数の可能な入力パターンは、管理可能な数の既知の一致に削減される。
時間プーリングは、トレーニングシーケンス内で互いに続いて発生する可能性が高い一致を、時間的グループに分割する。パターンの各グループは、入力パターンの「原因」（または『On Intelligence』における「名前」）を表す。
空間プーリングと時間プーリングの概念は、現在のHTMアルゴリズムにおいても非常に重要である。時間プーリングはまだ十分に理解されておらず、その意味は（HTMアルゴリズムの進化に伴い）時間とともに変化してきた。
#### 推論
推論中、ノードは、パターンが各既知の一致に属する確率のセットを計算する。次に、入力が各時間的グループを表す確率を計算する。グループに割り当てられた確率のセットは、入力パターンに関するノードの「信念」と呼ばれる。（簡略化された実装では、ノードの信念は唯一の勝者グループのみで構成される）。この信念は、階層の次の上位レベルにある1つ以上の「親」ノードに渡される推論の結果である。
ノードにとって「予期しない」パターンは、どの単一の時間的グループに属するかの支配的な確率を持たず、複数のグループのそれぞれにほぼ等しい確率を持つ。パターンのシーケンスがトレーニングシーケンスと類似している場合、グループに割り当てられた確率は、パターンが受信されるほど頻繁には変化しない。ノードの出力はあまり変化せず、時間的な解像度が失われる。
より一般的なスキームでは、ノードの信念は任意のレベルの任意のノードの入力に送信できるが、ノード間の接続は依然として固定されている。上位レベルのノードは、この出力を他の子ノードからの出力と組み合わせて、独自の入力パターンを形成する。
上記のように各ノードで空間と時間の解像度が失われるため、上位レベルのノードによって形成される信念は、さらに広い範囲の空間と時間を表す。これは、人間の脳によって知覚される物理世界の組織を反映することを意図している。より大きな概念（例：原因、行動、物体）は、よりゆっくりと変化し、より速く変化するより小さな概念から構成されると認識される。ジェフ・ホーキンスは、脳が外部世界の組織に適合、予測、影響を与えるためにこの種の階層を進化させたと仮定している。
ゼータ1 HTMの機能に関する詳細は、Numentaの旧ドキュメントに記載されている。
第二世代：皮質学習アルゴリズム
第二世代のHTM学習アルゴリズムは、しばしば皮質学習アルゴリズム（CLA）と呼ばれ、ゼータ1とは drastically 異なっていた。これは、脳の活動を表現するためのスパース分散表現（つまり、要素がバイナリ（1または0）であり、1のビット数が0のビット数に比べて少ないデータ構造）と、より生物学的に現実的なニューロンモデル（HTMの文脈ではしばしばセルとも呼ばれる）に依存している。このHTM世代には2つの中核的な構成要素がある：スパース分散表現（SDR）を出力する空間プーリングアルゴリズムと、複雑なシーケンスを表現および予測することを学習するシーケンスメモリアルゴリズムである。
この新しい世代では、大脳皮質の層とミニカラムが扱われ、部分的にモデル化されている。各HTM層（前述のHTM階層のHTMレベルと混同しないこと）は、高度に相互接続された多数のミニカラムで構成されている。HTM層は、その入力からスパース分散表現を作成し、任意の入力に対して固定数のビットがアクティブになるようにする。この表現はシーケンスメモリに供給され、シーケンスメモリは時間の経過に伴うパターン間の遷移を学習する。シーケンスメモリは、遠位デンドライトやシナプス可塑性を含む、錐体ニューロンに触発された神経ダイナミクスの一形態を使用する。
アプリケーションと実装
HTMは、Numentaのサンプルアプリケーションと、Numentaのパートナーによるいくつかの商用アプリケーションを通じて、ソフトウェアでテストおよび実装されている。主な商用ユースケースは、サーバーメトリクス、金融取引、センサー読み取りなどのストリーミングデータにおける異常検知である。ラベル付けされたデータなしで継続的に学習するHTMの能力は、リアルタイムシステムにおける異常なパターンの検出に適している。Numentaは、HTMベースのシステムを構築するためのツールを提供するNuPIC（Numenta Platform for Intelligent Computing）ライブラリを含む、オープンソースの実装をリリースしている。深層学習アプローチほど広く採用されてはいないが、HTMはオンライン学習とノイズ頑健性が重要なニッチなアプリケーションで使用されてきた。
他のAIアプローチとの関係
HTMは、人工知能の主流の方法（深層学習やトランスフォーマーベースのモデルなど）とは根本的に異なる。深層学習は通常、大量のラベル付きデータとオフラインでのトレーニングを必要とするが、HTMは教師なしで継続的に学習する。大規模言語モデルを支えるトランスフォーマーは、注意力メカニズムに依存しており、同じようには生物学的に着想を得ていない。HTMが時間的シーケンスと階層構造に焦点を当てていることは、脳における神経計算の理論とより密接に一致している。しかし、HTMは深層学習と同じレベルの商業的成功を達成しておらず、自然言語処理のような複雑なタスクへのスケーラビリティは限られたままである。Numenta社などの研究機関の研究者は理論の開発を続けているが、HTMは機械学習内のニッチな領域のままである。