Eyes of Thingsは、コンピュータビジョンと機械学習の機能を低消費電力の組み込みデバイスにもたらすために設計されたオープンリサーチプラットフォームである。欧州のコンソーシアムによって開発されたこのプラットフォームは、継続的なクラウド接続に依存せずに、周囲をリアルタイムで認識・解釈できるアプリケーションを構築するためのハードウェアとソフトウェアのフレームワークを提供する。このプロジェクトは、小型でエネルギー効率の高いハードウェア上での実現を可能にすることで、視覚ベースの人工知能へのアクセスを民主化することを目指していた。
このプラットフォームは、ニューラルネットワークやその他の機械学習アルゴリズムを実行するために最適化された処理ユニットとカメラモジュールを統合している。スマートホームデバイスやウェアラブル技術から産業用検査や環境モニタリングまで、幅広いアプリケーション向けの汎用的なビルディングブロックとして構想された。デバイス上でデータをローカルに処理することで、Eyes of Thingsプラットフォームは、クラウド中心のアプローチに内在する遅延、プライバシー、帯域幅に関する懸念に対処している。
アーキテクチャとハードウェア
Eyes of Thingsのハードウェアは、イメージセンサーと低消費電力プロセッサを組み合わせたシステムオンモジュールを中心に構成されている。初期のリファレンスデザインはARMベースのプロセッサを採用し、ARMアーキテクチャのエネルギー効率を活用していた。このモジュールには追加のセンサーやアクチュエータを接続するためのインターフェースが含まれており、より大きなシステムへの組み込みが可能である。設計は柔軟性を重視しており、開発者は特定のユースケースに合わせてプラットフォームを調整できる。
アーキテクチャの重要な構成要素はソフトウェア開発キット（SDK）であり、基盤となるハードウェアを抽象化し、カメラへのアクセス、推論モデルの実行、消費電力の管理のためのAPIセットを提供する。SDKはカスタマイズされたLinuxディストリビューションを含む複数のオペレーティングシステムをサポートし、より強力なマシンでトレーニングされたモデルを展開するためのツールを提供する。
ソフトウェアと機械学習の統合
Eyes of Thingsのソフトウェアスタックは、高レベルのディープラーニングフレームワークとリソースに制約のあるエッジデバイスの間のギャップを埋めるように設計されている。TensorFlowやCaffeなどの一般的なフレームワークでトレーニングされたモデルを実行できるランタイムが含まれており、それらを組み込みプロセッサ用に最適化された形式に変換する。これにより、開発者は物体検出、画像分類、顔認識などのタスクに事前トレーニング済みモデルを活用できる。
プラットフォームはまた、モデルプルーニングと量子化の技術を組み込んで、ニューラルネットワークの計算量とメモリフットプリントを削減し、限られたハードウェア上でのリアルタイム実行を可能にしている。SDKはパフォーマンスのベンチマークと特定のプロセッサ向けのモデル最適化のためのユーティリティを提供し、アプリケーションが許容可能なフレームレートと精度を達成できるようにする。
アプリケーションとユースケース
Eyes of Thingsは、自律的に動作できる新しいクラスのインテリジェントデバイスを可能にすることを意図していた。プロジェクトで実証されたアプリケーションの例には、人、動物、車両を区別できるスマートドアベル、視覚障害者向けにテキストを音声で読み上げるウェアラブルデバイス、生産ラインの欠陥を検出できる産業用センサーなどがある。プラットフォームの低消費電力は、長時間動作する必要があるバッテリー駆動デバイスに適している。
生成AIと大規模言語モデルの領域では、Eyes of Thingsが提唱するエッジコンピューティングの原則がますます重要になっている。クラウドサービスにのみ依存するのではなく、小型で特殊化されたモデルをデバイス上でローカルに実行することへの関心が高まっているためである。オンデバイス処理へのこのプロジェクトのアプローチは、AppleやQualcommなどの企業がスマートフォンやその他の消費者向け電子機器向けのニューラル処理ユニットに多額の投資を行っている、テクノロジー業界の広範なトレンドと一致している。
開発とエコシステム
Eyes of Thingsプロジェクトは、欧州連合のHorizon 2020研究・イノベーションプログラムによって資金提供された。コンソーシアムにはヨーロッパ各地の学術機関と産業パートナーが参加し、コンピュータビジョン、組み込みシステム、機械学習の専門知識を持ち寄った。プロジェクトはハードウェア設計とソフトウェアをオープンソースとしてリリースし、コミュニティがプラットフォームを基盤に構築し、その進化に貢献できるようにした。
開発者を支援するためにコミュニティフォーラムとドキュメンテーションポータルが設立され、実験を促進するための一連のワークショップとハッカソンが開催された。プラットフォームはまた、堅牢なモデルをトレーニングするためのデータ拡張や、推論効率を向上させるためのカリキュラム学習などのトピックを探求するいくつかの研究プロジェクトでも使用された。初期の資金提供期間は終了したが、プロジェクトのオープンソースの性質により、そのコンポーネントは研究者や愛好家によって使用され、適応され続けている。
遺産と影響
Eyes of Thingsプロジェクトは、エッジAIへの広範な動きに貢献し、限られたリソースのデバイスでも高度な視覚タスクを実行できることを実証した。オープンハードウェアとソフトウェアへの重点は、その後のこの分野のイニシアチブに青写真を提供した。組み込み展開用にニューラルネットワークを最適化するというプロジェクトの調査結果は、モデル圧縮と効率的な推論におけるベストプラクティスに情報をもたらした。
2020年代半ばの時点で、エッジAIの状況は大幅に進化しており、主要なチップメーカーやクラウドプロバイダーからの商用オファーがターンキーソリューションを提供している。しかし、Eyes of Thingsプラットフォームは、人工知能をエッジにもたらす包括的でオープンなアプローチの注目すべき初期の例であり続けており、そのドキュメントと設計は、独自のインテリジェントデバイスを構築することに興味がある人々のための教育リソースとして機能し続けている。