Eyes of Things ist eine offene Forschungsplattform, die darauf ausgelegt ist, Computer-Vision- und Machine-Learning-Fähigkeiten auf energiearme, eingebettete Geräte zu bringen. Die von einem europäischen Konsortium entwickelte Plattform bietet einen Hardware- und Software-Rahmen für die Erstellung von Anwendungen, die ihre Umgebung in Echtzeit wahrnehmen und interpretieren können, ohne auf eine kontinuierliche Cloud-Konnektivität angewiesen zu sein. Das Projekt zielte darauf ab, den Zugang zu visionsbasierter künstlicher Intelligenz zu demokratisieren, indem es diese auf kleiner, energieeffizienter Hardware ermöglichte.
Die Plattform integriert ein Kameramodul mit einer Verarbeitungseinheit, die für die Ausführung von neuronalen Netzen und anderen Machine-Learning-Algorithmen optimiert ist. Sie wurde als vielseitiger Baustein für eine breite Palette von Anwendungen konzipiert, von Smart-Home-Geräten und Wearable-Technologie bis hin zu industrieller Inspektion und Umweltüberwachung. Durch die lokale Verarbeitung von Daten auf dem Gerät adressiert die Eyes-of-Things-Plattform Bedenken hinsichtlich Latenz, Datenschutz und Bandbreite, die bei cloud-zentrierten Ansätzen inhärent sind.
Architektur und Hardware
Die Eyes-of-Things-Hardware ist um ein System-on-Module zentriert, das einen Bildsensor mit einem energiearmen Prozessor kombiniert. Das ursprüngliche Referenzdesign verwendete einen ARM-basierten Prozessor und nutzte die Energieeffizienz der ARM-Architektur. Das Modul umfasst Schnittstellen zum Anschluss zusätzlicher Sensoren und Aktuatoren, sodass es in größere Systeme eingebettet werden kann. Das Design betont Flexibilität und ermöglicht es Entwicklern, die Plattform für spezifische Anwendungsfälle anzupassen.
Eine Schlüsselkomponente der Architektur ist das Software Development Kit (SDK), das die zugrunde liegende Hardware abstrahiert und eine Reihe von APIs für den Zugriff auf die Kamera, die Ausführung von Inferenzmodellen und die Verwaltung des Stromverbrauchs bereitstellt. Das SDK unterstützt mehrere Betriebssysteme, einschließlich einer angepassten Linux-Distribution, und bietet Werkzeuge zur Bereitstellung von Modellen, die auf leistungsfähigeren Maschinen trainiert wurden.
Software und Machine-Learning-Integration
Der Software-Stack von Eyes of Things ist darauf ausgelegt, die Lücke zwischen hochrangigen Deep-Learning-Frameworks und ressourcenbeschränkten Edge-Geräten zu überbrücken. Er umfasst eine Laufzeitumgebung, die Modelle ausführen kann, die mit beliebten Frameworks wie TensorFlow und Caffe trainiert wurden, und diese in ein optimiertes Format für den eingebetteten Prozessor umwandelt. Dies ermöglicht es Entwicklern, vortrainierte Modelle für Aufgaben wie Objekterkennung, Bildklassifikation und Gesichtserkennung zu nutzen.
Die Plattform integriert auch Techniken für Modell-Pruning und Quantisierung, um den Rechen- und Speicherbedarf neuronaler Netze zu reduzieren, sodass sie für die Echtzeitausführung auf der begrenzten Hardware geeignet sind. Das SDK bietet Dienstprogramme zur Leistungsbewertung und Optimierung von Modellen für den spezifischen Prozessor, um sicherzustellen, dass Anwendungen akzeptable Bildraten und Genauigkeit erreichen.
Anwendungen und Anwendungsfälle
Eyes of Things sollte eine neue Klasse intelligenter Geräte ermöglichen, die autonom operieren können. Beispielanwendungen, die vom Projekt demonstriert wurden, umfassen eine intelligente Türklingel, die zwischen Menschen, Tieren und Fahrzeugen unterscheiden kann; ein Wearable für sehbehinderte Personen, das Text laut vorlesen kann; und einen industriellen Sensor, der Defekte auf einer Produktionslinie erkennen kann. Der geringe Stromverbrauch der Plattform macht sie für batteriebetriebene Geräte geeignet, die über längere Zeiträume betrieben werden müssen.
Im Bereich der generativen KI und großen Sprachmodelle sind die von Eyes of Things propagierten Prinzipien des Edge Computing zunehmend relevant, da ein wachsendes Interesse daran besteht, kleinere, spezialisierte Modelle lokal auf Geräten auszuführen, anstatt sich ausschließlich auf Cloud-Dienste zu verlassen. Der Ansatz des Projekts zur On-Device-Verarbeitung steht im Einklang mit breiteren Trends in der Technologiebranche, wo Unternehmen wie Apple und Qualcomm stark in neuronale Verarbeitungseinheiten für Smartphones und andere Unterhaltungselektronik investieren.
Entwicklung und Ökosystem
Das Eyes-of-Things-Projekt wurde vom Forschungs- und Innovationsprogramm Horizont 2020 der Europäischen Union finanziert. Das Konsortium umfasste akademische und industrielle Partner aus ganz Europa, die Fachwissen in Computer Vision, eingebetteten Systemen und Machine Learning zusammenbrachten. Das Projekt veröffentlichte seine Hardware-Designs und Software als Open Source, sodass die Community auf der Plattform aufbauen und zu ihrer Weiterentwicklung beitragen konnte.
Ein Community-Forum und ein Dokumentationsportal wurden eingerichtet, um Entwickler zu unterstützen, und eine Reihe von Workshops und Hackathons wurden organisiert, um Experimente zu fördern. Die Plattform wurde auch in mehreren Forschungsprojekten verwendet, die Themen wie Daten-Augmentierung für das Training robuster Modelle und Curriculum-Lernen zur Verbesserung der Inferenzeffizienz untersuchten. Obwohl der anfängliche Finanzierungszeitraum abgeschlossen ist, bedeutet der Open-Source-Charakter des Projekts, dass seine Komponenten weiterhin von Forschern und Hobbyisten genutzt und angepasst werden.
Vermächtnis und Auswirkungen
Das Eyes-of-Things-Projekt trug zur breiteren Bewegung hin zu Edge-KI bei, indem es demonstrierte, dass anspruchsvolle Vision-Aufgaben auf Geräten mit begrenzten Ressourcen ausgeführt werden können. Sein Schwerpunkt auf offener Hardware und Software lieferte eine Blaupause für nachfolgende Initiativen auf diesem Gebiet. Die Erkenntnisse des Projekts zur Optimierung neuronaler Netze für die eingebettete Bereitstellung haben Best Practices in der Modellkompression und effizienten Inferenz informiert.
Mitte der 2020er Jahre hat sich die Landschaft der Edge-KI erheblich weiterentwickelt, wobei kommerzielle Angebote großer Chiphersteller und Cloud-Anbieter schlüsselfertige Lösungen bieten. Die Eyes-of-Things-Plattform bleibt jedoch ein bemerkenswertes frühes Beispiel für einen umfassenden, offenen Ansatz, um künstliche Intelligenz an den Rand zu bringen, und ihre Dokumentation und Designs dienen weiterhin als Bildungsressource für diejenigen, die daran interessiert sind, ihre eigenen intelligenten Geräte zu bauen.