Eyes of Things是一个开放研究平台，旨在将计算机视觉和机器学习能力引入低功耗嵌入式设备。该平台由欧洲联盟开发，提供了一套硬件和软件框架，用于构建能够实时感知和解释周围环境的应用程序，而无需持续依赖云连接。该项目旨在通过使视觉人工智能在小巧、节能的硬件上可行，来普及对视觉人工智能的访问。
该平台集成了一个摄像头模块和一个针对运行神经网络及其他机器学习算法优化的处理单元。它被设想为广泛应用的通用构建模块，涵盖从智能家居设备和可穿戴技术到工业检测和环境监测。通过在设备本地处理数据，Eyes of Things平台解决了以云为中心的方法中固有的延迟、隐私和带宽问题。
架构与硬件
Eyes of Things硬件围绕一个系统模块构建，该模块将图像传感器与低功耗处理器相结合。初始参考设计采用了基于ARM的处理器，利用ARM架构的能效。该模块包含用于连接额外传感器和执行器的接口，使其能够嵌入到更大的系统中。设计强调灵活性，使开发者能够针对特定用例定制平台。
架构的一个关键组件是软件开发工具包（SDK），它抽象了底层硬件，并提供了一组API，用于访问摄像头、运行推理模型和管理功耗。SDK支持多种操作系统，包括定制的Linux发行版，并提供了用于部署在更强大机器上训练的模型的工具。
软件与机器学习集成
Eyes of Things的软件栈旨在弥合高级深度学习框架与资源受限的边缘设备之间的差距。它包括一个运行时，可以执行使用TensorFlow和Caffe等流行框架训练的模型，并将其转换为针对嵌入式处理器优化的格式。这使开发者能够利用预训练模型执行目标检测、图像分类和人脸识别等任务。
该平台还采用了模型剪枝和量化技术，以减少神经网络的计算和内存占用，使其适合在有限硬件上实时执行。SDK提供了用于基准测试性能和针对特定处理器优化模型的工具，确保应用程序能够达到可接受的帧率和准确性。
应用与用例
Eyes of Things旨在实现一类能够自主运行的新型智能设备。项目演示的示例应用包括一个能够区分人、动物和车辆的智能门铃；一个为视障人士设计的可穿戴设备，能够朗读文本；以及一个能够检测生产线缺陷的工业传感器。该平台的低功耗特性使其适合需要长时间运行的电池供电设备。
在生成式AI和大型语言模型领域，Eyes of Things倡导的边缘计算原则日益相关，因为人们对在设备本地运行更小、更专业的模型越来越感兴趣，而不是仅仅依赖云服务。该项目对设备端处理的方法与科技行业的更广泛趋势一致，例如苹果和高通等公司正在大力投资于智能手机和其他消费电子产品的神经处理单元。
开发与生态系统
Eyes of Things项目由欧盟的Horizon 2020研究与创新计划资助。该联盟包括来自欧洲各地的学术和工业合作伙伴，汇集了计算机视觉、嵌入式系统和机器学习方面的专业知识。项目将其硬件设计和软件作为开源发布，允许社区在此基础上构建并为其发展做出贡献。
项目建立了社区论坛和文档门户以支持开发者，并组织了一系列研讨会和黑客马拉松以鼓励实验。该平台还被用于多个研究项目，探索诸如数据增强以训练稳健模型和课程学习以提高推理效率等主题。虽然初始资助期已经结束，但该项目的开源性质意味着其组件继续被研究人员和爱好者使用和改编。
遗产与影响
Eyes of Things项目为边缘AI的更广泛运动做出了贡献，证明了复杂的视觉任务可以在资源有限的设备上执行。其对开放硬件和软件的强调为后续领域倡议提供了蓝图。该项目关于优化神经网络以用于嵌入式部署的研究成果，为模型压缩和高效推理的最佳实践提供了参考。
截至2020年代中期，边缘AI的格局已显著演变，主要芯片制造商和云提供商提供的商业产品提供了交钥匙解决方案。然而，Eyes of Things平台仍然是早期将人工智能带到边缘的全面、开放方法的显著例子，其文档和设计继续作为那些有兴趣构建自己智能设备的人的教育资源。