Untether AIは、エッジコンピューティング用途向けにエネルギー効率の高い人工知能推論チップを設計するカナダの半導体企業である。2019年に設立され、トロントに本社を置く同社は、訓練済みのニューラルネットワークを最小限の消費電力と遅延で実行するために最適化されたプロセッサを開発しており、自動運転車、産業オートメーション、リアルタイムデータセンター推論などのユースケースを対象としている。同社はトロント大学での研究から生まれ、人工知能ハードウェアエコシステム内で急速に地位を確立し、GroqやGraphcoreなどの専門チップメーカーと競合しながら、AIモデルの訓練ではなく展開に焦点を当てている。
同社の核となる技術は、処理要素とメモリ間のデータ移動にかかるエネルギーコストを削減する新しいメモリアーキテクチャに基づいており、これは従来のフォンノイマン型コンピューティングにおけるボトルネックである。2019年、Untether AIはRadical VenturesとDraper Associatesが主導するシードラウンドで1900万ドルを調達し、その後2022年10月にはカナダ公共部門年金投資委員会とSamsung Catalyst Fundが共同主導するシリーズB資金調達で1億7500万ドルを確保し、総調達額は2億ドルを超えた。同社は2023年に最初の商用製品であるspeedAI240を出荷したが、本格的な生産量は徐々に増加した。
設立と初期の開発
Untether AIは、以前インテルでデータセンター向けチップエンジニアリングを率いたArun Subramaniyanと、AMDでの経歴を持つシステムアーキテクトのMartino Andreaniによって共同設立された。2人はトロント大学での研究協力を通じて出会い、アンドレアス・モショボス教授の下でエネルギー効率の高い深層学習アクセラレータに取り組んだ。2017年に発表された彼らの初期コンセプトは、推論のために外部DRAMアクセスを排除するため、メモリを処理デバイス上に移動させることを提案した。
2020年、同社はTSMCとの提携を発表し、7ナノメートルプロセスでチップを製造することとし、2021年初頭にテープアウトされたシリコンを実現した。2022年半ばまでに、Untether AIはトロントとオタワのオフィスに約120人の従業員を擁し、サンノゼにもエンジニアリングセンターを計画していた。同社の初期の成長は、2021年の戦略的イノベーション基金からの400万ドルの拠出を含むカナダ政府の支援から恩恵を受けた。
アーキテクチャと技術
Untether AIのチップにおける主要な革新は、「アットメモリコンピューティング」アプローチであり、計算ユニットをダイ上のSRAMメモリアレイに直接隣接して配置する。この構成により、各操作ごとにシステムバスを介してデータを往復させる必要がなくなり、従来のアクセラレータと比較して消費電力が大幅に削減される。このアーキテクチャは、重みと活性化がローカルメモリに常駐し、各ニューロンの計算がメモリサイトで行われるデータフロースタイルの実行モデルを使用する。
speedAI240プロセッサには256個の計算コアが含まれ、各コアに2 MBのSRAMを備え、8ビット整数精度で2ペタオペレーション毎秒（POPS）を達成しながら、約25ワットを消費する。この効率性は、自動運転システムでの物体検出や製造におけるリアルタイム欠陥スクリーニングなど、低遅延を必要とするエッジ推論タスクを対象としている。大規模モデルの訓練用に設計されたAMDやIntelのGPUとは異なり、Untether AIのシリコンは固定機能推論用に最適化されており、モデルプルーニングや量子化などの技術を活用してスループットを最大化している。
ソフトウェアスタックと互換性
同社はuntether SDKと呼ばれるソフトウェア開発キットを提供しており、TensorFlowやPyTorchフレームワークからのモデルをハードウェア用の実行可能バイナリにコンパイルする。このツールチェーンは、畳み込み、プーリング、残差ネットワークなど、深層学習で一般的なレイヤーをサポートし、性能推定用のシミュレータも含む。2023年、Untether AIはONNXエクスポートのサポートを発表し、既存の機械学習パイプラインとの統合を簡素化した。
注目すべき機能は、スパース性を考慮した計算のサポートであり、コンパイラがテンソル内のゼロ値を検出してその処理をスキップし、速度とエネルギー効率の両方を向上させる。エッジトレーニングシナリオでは、同社はデバイス上でモデルを微調整できる限定精度トレーニングモードも提供しているが、これは依然として研究機能である。
市場での位置づけと競争
Untether AIは、エッジAI推論アクセラレータのニッチ市場で競争しており、同様のオンチップメモリアプローチを使用するがより大規模なデータセンター向けワークロードを対象とするGroqや、再構成可能なアーキテクチャに焦点を当てるSambaNovaなどの企業もこの市場に参入している。ハイパースケールデータセンター向けにスケールするAWS TrainiumやGoogle Cloud TPUとは対照的に、Untether AIは分散展開向けの低消費電力予算を強調している。同社は、組み込みシステムにおけるArmベースのCPUの補完として自らを位置づけている。
2023年、Untether AIはSamsung Electronicsと提携し、チップレット向けパッケージングソリューションを共同開発し、大量生産時のコスト削減の可能性を模索した。アナリストは、同社がTSMCの7ナノメートルプロセスに依存していることが競争力のある性能対ワット比を提供していると指摘するが、QualcommのクラウドAI推論チップやBroadcomの今後のプロセッサとの競争に直面している。
アプリケーションとユースケース
Untether AIハードウェアの主なターゲットアプリケーションには、低遅延が迅速なセンサーデータ解釈を可能にする自動運転車や、Figure AIが開発するヒューマノイドシステムなどのロボティクスが含まれる。製造業では、リアルタイム異常検出を必要とする外観検査システムにチップが使用されている。同社はまた、高速画像処理を必要とする手術ロボットなどの医療画像処理や、衛星データを用いたリモートセンシングも対象としている。
データセンターでは、Untether AIはAWSインスタンスやオンプレミスサーバー向けのアクセラレーションカードを提供し、大規模言語モデルの推論をリクエストあたりの消費電力を抑えて処理することに焦点を当てている。2024年に導入された展開キットには、OpenAIのGPT-2を参照として使用した感情分析や物体追跡などの一般的なタスク向けの事前調整済みモデルが含まれている。
性能とベンチマーク
2023年後半にMLPerf組織が発表した独立ベンチマークでは、Untether AIのspeedAI240が8ビット精度のResNet-50分類タスクで毎秒75フレームを達成し、フレームあたり0.5ジュールで、NvidiaのJetson Orinをエネルギー効率で3倍上回った。しかし、BERTなどのより大規模なモデルでは、オンチップ容量の制限によりシーケンシャルメモリアーキテクチャのスループットが遅くなる。同社は、オフチップLPDDR5メモリを最大64 GBまで構成可能にすることでこの問題に対処し、エッジとサーバーワークロードの橋渡しをしている。
IntelのMovidiusチップと比較すると、speedAI240はより高いピークTOPSを提供するがコストも高く、自動運転トラックなどのプレミアムアプリケーションに適している。2024年のMITコンピュータサイエンス・人工知能研究所での研究では、Untether AIの設計が産業製品におけるニアメモリコンピューティングの代表的な例として引用された。
ロードマップと今後の方向性
現在、Untether AIは「Gemini」というコードネームの第2世代アーキテクチャを開発中であり、新興のトランスフォーマーベースモデル向けに16ビット浮動小数点形式をサポートすることを目指している。同社は2025年後半にチップのサンプリングを計画しており、現在の数値を3倍にする10 TOPS/Wの効率を目標としている。焦点は、エッジデバイス上でトランスフォーマーとマルチヘッドアテンションを効率的に処理するためのツールチェーンの強化である。
同社はまた、アクセラレータとRISC-Vコアの統合を模索しており、外部制御プロセッサへの依存を減らした完全にプログラム可能なSoCを実現することを目指している。2024年には、分散推論のためのエネルギー認識スケジューリングに関するバークレーAIリサーチラボとの研究協力を発表した。長期的には、Untether AIは生成AIエッジ市場の主要プレーヤーになることを目指しており、2027年までに100万台の出荷を計画している。
リーダーシップとコーポレートガバナンス
CEOのArun Subramaniyanは、最高技術責任者Martino Andreaniやエンジニアリング担当副社長Tom Doyleを含む経営陣を率いている。取締役会にはRadical VenturesやSamsung Researchからのベンチャーパートナーが含まれ、戦略的ガイダンスを提供している。同社は2025年初頭時点で、トロント、オタワ、サンノゼに合計180人の従業員を維持している。注目すべきアドバイザーには、テンソル法の著名な人物であるAnima Anandkumarが含まれ、Geoffrey Hintonは設立時に非公式にアドバイザーを務めた。
Untether AIの特許は、発行済みの40件以上の出願があり、ミスフィットメモリや動的電圧スケーリング技術をカバーしており、トロント大学からポートフォリオのライセンスを受けている。同社の財政状態は2024年の景気後退を通じて安定しており、2025年1月にPSPインベストメンツが主導するシリーズC資金調達で1億ドルを発表した。
業界への影響と評価
業界関係者は、Untether AIをアットメモリコンピューティングの研究を商業規模に持ち込んだ先駆者と見なしており、スタンフォードAIラボはその設計決定に関するケーススタディを主催している。Armやナビゲーションシステム向けのTomTomなどのエコシステムプレーヤーとの提携により、そのリーチは拡大している。しかし、機械学習コミュニティの一部は、クラウドプロバイダーがOracle CloudやAzureサービスを通じてより安価な推論を提供する中で、エッジ特化チップの長期的な存続可能性に疑問を呈している。Untether AIは、データをデバイスから離せない遅延クリティカルおよびプライバシーセンシティブなアプリケーションを挙げて反論している。
同社はまた、オープンソースソフトウェアにも貢献しており、2024年にONNX Runtimeコミュニティで採用されたコンパイラバックエンドをリリースしたが、さらなる統合は進行中である。その資金調達の軌跡は、セクターの広範な統合が進む中で、専門AIシリコンへの持続的な投資家の関心を反映している。