ニューラルアーキテクチャ探索（NAS）は、機械学習の分野で広く使用されるモデルである人工ニューラルネットワーク（ANN）の設計を自動化するための技術である。NASは、手動で設計されたアーキテクチャと同等かそれ以上に優れたネットワークを設計するために使用されてきた。NASの方法は、使用される探索空間、探索戦略、および性能推定戦略に基づいて分類できる。探索空間は、設計および最適化できるANNの種類を定義し、探索戦略は探索空間を探索するために使用されるアプローチを定義し、性能推定戦略は、構築およびトレーニングせずに設計から可能なANNの性能を評価する。NASは、ハイパーパラメータ最適化およびメタ学習と密接に関連しており、自動機械学習（AutoML）のサブフィールドである。
強化学習
強化学習（RL）は、NASの探索戦略を支えることができる。Barret ZophとQuoc Viet Leは、CIFAR-10データセットを対象としたRLを用いたNASを適用し、精度において最良の手動設計アーキテクチャに匹敵するネットワークアーキテクチャを達成した。その誤差率は3.65であり、関連する手動設計モデルよりも0.09パーセント優れ、1.05倍高速であった。Penn Treebankデータセットでは、そのモデルはLSTMを上回るリカレントセルを構成し、テストセットのパープレキシティ62.4を達成した。これは、以前の主要システムよりも3.6パープレキシティ優れている。PTB文字言語モデリングタスクでは、1文字あたり1.214ビットを達成した。
大規模なデータセットでモデルアーキテクチャを直接学習することは、長いプロセスになる可能性がある。NASNetは、小規模なデータセット用に設計されたビルディングブロックを大規模なデータセットに転送することでこの問題に対処した。設計は、入力特徴マップを畳み込む際に2つの主要な機能を果たす特徴マップを返すために、2種類の畳み込みセルを使用することに制約された。通常のセルは同じ範囲（高さと幅）のマップを返し、削減セルは返される特徴マップの高さと幅が2分の1に削減される。削減セルでは、セルの入力に適用される初期操作は、高さと幅を削減するためにストライド2を使用する。設計の学習された側面には、各高層がどの低層を入力として取るか、その層で適用される変換、および各層で複数の出力をどのようにマージするかなどの要素が含まれていた。研究された例では、最良の畳み込み層（または「セル」）がCIFAR-10データセット用に設計され、その後、このセルのコピーをそれぞれ独自のパラメータでスタックすることによってImageNetデータセットに適用された。このアプローチは、トップ1で82.7%、トップ5で96.2%の精度を達成した。これは、90億回少ないFLOPS（28%の削減）というコストで、最良の人間が発明したアーキテクチャを上回った。システムは、さまざまな計算レベルで手動設計の代替案を上回り続けた。画像分類から学習された画像特徴は、他のコンピュータビジョン問題に転送できる。オブジェクト検出では、学習されたセルをFaster-RCNNフレームワークと統合することで、COCOデータセットで性能が4.0%向上した。
いわゆる効率的ニューラルアーキテクチャ探索（ENAS）では、コントローラが大きなグラフ内の最適なサブグラフを探索することを学習することによってアーキテクチャを発見する。コントローラは、検証セットの期待報酬を最大化するサブグラフを選択するようにポリシー勾配でトレーニングされる。サブグラフに対応するモデルは、標準的なクロスエントロピー損失を最小化するようにトレーニングされる。複数の子モデルがパラメータを共有するため、ENASは他のアプローチよりも少ないGPU時間を必要とし、「標準的な」NASよりも1000倍少ない。CIFAR-10では、ENAS設計はNASNetに匹敵する2.89%のテスト誤差を達成した。Penn Treebankでは、ENAS設計は55.8のテストパープレキシティに達した。
進化
NASへの代替アプローチは、進化的アルゴリズムに基づいており、いくつかのグループによって採用されている。ニューラルアーキテクチャ探索のための進化的アルゴリズムは、一般的に次の手順を実行する。まず、異なる候補アーキテクチャとその検証スコア（適合度）からなるプールが初期化される。各ステップで、候補プール内のアーキテクチャが変異される（例えば、5x5畳み込みの代わりに3x3畳み込み）。次に、新しいアーキテクチャがゼロから数エポックトレーニングされ、その検証スコアが取得される。その後、候補プール内のスコアが最も低いアーキテクチャが、より優れた新しいアーキテクチャに置き換えられる。この手順が複数回繰り返され、候補プールは時間とともに洗練される。ANNを進化させる文脈での変異は、層の追加や削除などの操作であり、層のタイプの変更（例えば、畳み込みからプーリングへ）、層のハイパーパラメータの変更、またはトレーニングハイパーパラメータの変更が含まれる。CIFAR-10およびImageNetでは、進化とRLは同等の性能を発揮し、両方ともランダム検索をわずかに上回った。
ベイズ最適化
ハイパーパラメータ最適化の効率的な方法として証明されているベイズ最適化（BO）は、NASにも適用できる。この文脈では、目的関数はアーキテクチャを、数エポックトレーニングされた後の検証誤差にマッピングする。各反復で、BOは以前に取得されたアーキテクチャとその検証誤差に基づいて、この目的関数をモデル化するためにサロゲートを使用する。次に、探索と活用のバランスを提供する期待改善などの獲得関数を最大化することによって、評価する次のアーキテクチャを選択する。獲得関数の最大化と目的関数の評価は、NASでは計算コストが高いことが多く、この文脈でのBOの適用を困難にしている。最近、BANANASは、ニューラル予測子と組み合わせた高性能なBOのインスタンス化を導入することにより、この方向で有望な結果を達成している。
ヒルクライミング
別のグループは、ネットワークモーフィズムを適用し、その後に短いコサインアニーリング最適化ランを実行するヒルクライミング手順を使用した。このアプローチは、単一ネットワークのトレーニングと同程度のリソースを必要とし、競争力のある結果をもたらした。例えば、CIFAR-10では、この方法は単一GPUで12時間以内に5%未満の誤差率のネットワークを設計およびトレーニングした。
多目的探索
ほとんどのアプローチは最大の予測性能を持つアーキテクチャの探索にのみ焦点を当てているが、ほとんどの実用的なアプリケーションでは、メモリ消費、モデルサイズ、または推論時間（つまり、予測を取得するのに必要な時間）などの他の目的が関連する。そのため、研究者は多目的探索を作成した。LEMONADEは、複数の目的を効率的に最適化するためにラマルク主義を採用した進化的アルゴリズムである。各世代で、子ネットワークは現在のANN集団に関するパレートフロンティアを改善するために生成される。Neural Architectは、ネットワーク埋め込みと性能予測を備えたリソース認識型の多目的RLベースのNASであると主張されている。ネットワーク埋め込みは、既存のネットワークをトレーニング可能な埋め込みベクトルにエンコードし、性能を予測し、精度とリソース制約のバランスを取るアーキテクチャに向けて探索を導くために使用できる。
課題と将来の方向性
NASは、ENASや重み共有などの進歩にもかかわらず、依然として計算集約的である。探索空間の設計は結果に大きく影響し、アーキテクチャの評価にはしばしばかなりの計算が必要である。最近の研究では、探索が連続最適化問題に緩和される微分可能なNASや、完全なトレーニングなしで性能を推定することを学習する予測子ベースの方法が探求されている。2020年代半ばの時点で、NASは進化し続けており、Deep learningモデル（Transformer (architecture)ベースのアーキテクチャを含む）への応用や、自動機械学習パイプラインとの統合がある。Google DeepMind、OpenAI、Stanford AI Labなどの機関の研究者はNAS手法の進歩に貢献してきたが、コストと複雑さのために、多くの実用的な展開は依然として手動設計のネットワークに依存している。
他の分野との関係
NASは、モデル設計プロセスの一部を自動化しようとするため、ハイパーパラメータ最適化およびMeta-Learningと密接に関連している。また、Neural network理論およびMachine learning実践とも交差する。NASで使用される技術（強化学習や進化的アルゴリズムなど）は、より広いArtificial intelligence研究から引き出されている。性能推定戦略は、探索中のトレーニング時間を短縮するために、Weight InitializationおよびBatch Normalization技術を活用することが多い。NASの最終的な目標は、効果的なNeural networkアーキテクチャを設計するために必要な人間の労力を削減し、非専門家が特定のタスクに対して高性能なモデルを作成できるようにすることである。
結論
ニューラルアーキテクチャ探索は、ニューラルネットワークの設計を自動化するための重要な一歩を表している。強化学習、進化的アルゴリズム、ベイズ最適化、およびその他の戦略を活用することにより、NASは人間が設計したものに匹敵するかそれを超えるアーキテクチャを発見できる。しかし、計算コストと探索空間の複雑さは依然として重要な課題である。方法が改善されるにつれて、NASはさまざまな領域にわたる効率的で強力なDeep learningモデルの開発においてますます重要な役割を果たす可能性が高い。