Edge AI（エッジAI）とは、人工知能のワークロード、特にモデルの推論を、データをリモートのクラウドデータセンターに送って処理するのではなく、スマートフォン、カメラ、自動車、組み込みセンサーなどのローカルデバイス上で直接実行することを指す。これは、デバイスが大規模モデルを実行するサーバーに入力を送信し、ネットワーク経由で結果を受け取るクラウドAIとは対照的である。
動機
Edge AIは、クラウド推論ではうまく解決できないいくつかの実用的な制約によって推進されている。自動運転車におけるカメラベースの物体検出やリアルタイム音声処理などのレイテンシーに敏感なアプリケーションは、ネットワーク呼び出しの往復遅延に耐えることができない。オフライン動作は、信頼性の高い接続がないデバイスにとって重要である。プライバシーも主要な推進要因であり、写真、音声、健康シグナルなどのデータをローカルで処理することで、生の個人データがデバイスから出る必要がなくなり、この特性はスマートフォンメーカーによってますます宣伝されている。コストと帯域幅もエッジを支持しており、毎回の推論で連続したセンサーデータをクラウドにストリーミングすることは、規模が大きくなると高価になる。トレードオフは能力であり、エッジデバイスはデータセンターのGPUクラスターよりもはるかに少ない計算能力とメモリしか持たないため、Edge AIは能力のあるモデルを小さなメモリと電力フットプリントに収めるために、量子化、モデルの蒸留、その他のサイズ削減技術に大きく依存している。
ハードウェアと技術
Edge AIは、特殊な低電力チップ上で実行される。現代のスマートフォンシステムオンチップに組み込まれたニューラル処理ユニット、GoogleのEdge TPU（データセンターのTPUの小型版）などの専用推論アクセラレータ、そしてますます高性能になる組み込みGPUである。エッジに展開されるモデルは通常、より大きなモデルの圧縮版であり、16ビットまたは32ビットではなく8ビットまたは4ビットの重みなどの低い数値精度に量子化されたもの、不要なパラメータを削除するために刈り込まれたもの、またはより大きな基盤モデルから小さな学生ネットワークへの知識蒸留によって生成されたものである。TensorFlow上に構築されたTensorFlow LiteやCore MLなどのフレームワークは、フルサイズのモデルからエッジ最適化モデルへのこの展開パスをサポートしている。
アプリケーションと展望
一般的なEdge AIアプリケーションには、クラウドを呼び出す前にウェイクワードをローカルで処理するオンデバイス音声アシスタント、スマートフォンでの計算写真と顔認証、産業機器の予測保守センサー、ネットワーク接続に依存できないロボティクスおよび自動運転車の知覚システムが含まれる。2020年代半ばの時点で、攻撃的な量子化と蒸留によって実用化された数十億パラメータの能力ある小型言語モデルは、Edge AIを狭い知覚タスクから、携帯電話やノートパソコン上で直接汎用チャットおよび推論モデルを実行することへと拡張し、一部でクラウドホスト型フロンティアモデルに対するプライバシーおよびコスト主導のカウンターウェイトとして位置づけられるオンデバイス生成AIへのより広範な業界の推進の一部となっている。