Eyes of Things est une plateforme de recherche ouverte conçue pour apporter des capacités de vision par ordinateur et d'apprentissage automatique à des dispositifs embarqués à faible consommation. Développée par un consortium européen, la plateforme fournit un cadre matériel et logiciel pour construire des applications capables de percevoir et d'interpréter leur environnement en temps réel, sans dépendre d'une connectivité cloud continue. Le projet visait à démocratiser l'accès à l'intelligence artificielle basée sur la vision en la rendant réalisable sur du matériel petit et économe en énergie.
La plateforme intègre un module caméra avec une unité de traitement optimisée pour exécuter des réseaux de neurones et d'autres algorithmes d'apprentissage automatique. Elle a été conçue comme un bloc de construction polyvalent pour une large gamme d'applications, allant des dispositifs domotiques et des technologies portables à l'inspection industrielle et à la surveillance environnementale. En traitant les données localement sur le dispositif, la plateforme Eyes of Things répond aux préoccupations liées à la latence, à la confidentialité et à la bande passante inhérentes aux approches centrées sur le cloud.
Architecture et matériel
Le matériel d'Eyes of Things est centré autour d'un système sur module qui combine un capteur d'image avec un processeur à faible consommation. La conception de référence initiale utilisait un processeur basé sur ARM, tirant parti de l'efficacité énergétique de l'architecture ARM. Le module comprend des interfaces pour connecter des capteurs et des actionneurs supplémentaires, permettant de l'intégrer dans des systèmes plus vastes. La conception met l'accent sur la flexibilité, permettant aux développeurs d'adapter la plateforme à des cas d'utilisation spécifiques.
Un composant clé de l'architecture est le kit de développement logiciel (SDK), qui abstrait le matériel sous-jacent et fournit un ensemble d'API pour accéder à la caméra, exécuter des modèles d'inférence et gérer la consommation d'énergie. Le SDK prend en charge plusieurs systèmes d'exploitation, y compris une distribution Linux personnalisée, et fournit des outils pour déployer des modèles entraînés sur des machines plus puissantes.
Logiciel et intégration de l'apprentissage automatique
La pile logicielle d'Eyes of Things est conçue pour combler le fossé entre les frameworks d'apprentissage profond de haut niveau et les dispositifs de périphérie aux ressources limitées. Elle comprend un runtime capable d'exécuter des modèles entraînés avec des frameworks populaires tels que TensorFlow et Caffe, en les convertissant dans un format optimisé pour le processeur embarqué. Cela permet aux développeurs d'exploiter des modèles pré-entraînés pour des tâches comme la détection d'objets, la classification d'images et la reconnaissance faciale.
La plateforme intègre également des techniques de élagage de modèles et de quantification pour réduire l'empreinte computationnelle et mémoire des réseaux de neurones, les rendant adaptés à une exécution en temps réel sur le matériel limité. Le SDK fournit des utilitaires pour évaluer les performances et optimiser les modèles pour le processeur spécifique, garantissant que les applications peuvent atteindre des taux de trames et une précision acceptables.
Applications et cas d'utilisation
Eyes of Things visait à permettre une nouvelle classe de dispositifs intelligents capables de fonctionner de manière autonome. Les exemples d'applications démontrés par le projet incluent une sonnette intelligente capable de distinguer les personnes, les animaux et les véhicules ; un dispositif portable pour les personnes malvoyantes capable de lire du texte à voix haute ; et un capteur industriel capable de détecter des défauts sur une ligne de production. La faible consommation d'énergie de la plateforme la rend adaptée aux dispositifs alimentés par batterie qui doivent fonctionner sur de longues périodes.
Dans le domaine de l'IA générative et des grands modèles de langage, les principes de l'informatique de périphérie défendus par Eyes of Things sont de plus en plus pertinents, car il existe un intérêt croissant pour l'exécution de modèles plus petits et spécialisés localement sur les dispositifs plutôt que de dépendre uniquement des services cloud. L'approche du projet en matière de traitement sur dispositif s'aligne sur les tendances plus larges de l'industrie technologique, où des entreprises comme Apple et Qualcomm investissent massivement dans des unités de traitement neuronal pour les smartphones et autres appareils électroniques grand public.
Développement et écosystème
Le projet Eyes of Things a été financé par le programme de recherche et d'innovation Horizon 2020 de l'Union européenne. Le consortium comprenait des partenaires académiques et industriels de toute l'Europe, réunissant une expertise en vision par ordinateur, en systèmes embarqués et en apprentissage automatique. Le projet a publié ses conceptions matérielles et son logiciel en open source, permettant à la communauté de s'appuyer sur la plateforme et de contribuer à son évolution.
Un forum communautaire et un portail de documentation ont été établis pour soutenir les développeurs, et une série d'ateliers et de hackathons a été organisée pour encourager l'expérimentation. La plateforme a également été utilisée dans plusieurs projets de recherche explorant des sujets tels que la augmentation de données pour entraîner des modèles robustes et l'apprentissage par curriculum pour améliorer l'efficacité de l'inférence. Bien que la période de financement initiale soit terminée, la nature open source du projet signifie que ses composants continuent d'être utilisés et adaptés par les chercheurs et les passionnés.
Héritage et impact
Le projet Eyes of Things a contribué au mouvement plus large vers l'IA de périphérie, démontrant que des tâches de vision sophistiquées pouvaient être réalisées sur des dispositifs aux ressources limitées. Son accent sur le matériel et le logiciel ouverts a fourni un modèle pour les initiatives ultérieures dans le domaine. Les conclusions du projet sur l'optimisation des réseaux de neurones pour le déploiement embarqué ont informé les meilleures pratiques en matière de compression de modèles et d'inférence efficace.
Au milieu des années 2020, le paysage de l'IA de périphérie a considérablement évolué, avec des offres commerciales de grands fabricants de puces et de fournisseurs de cloud proposant des solutions clés en main. Cependant, la plateforme Eyes of Things reste un exemple précoce notable d'une approche complète et ouverte pour apporter l'intelligence artificielle à la périphérie, et sa documentation et ses conceptions continuent de servir de ressource éducative pour ceux qui souhaitent construire leurs propres dispositifs intelligents.