Eyes of Things는 저전력 임베디드 기기에 컴퓨터 비전과 머신 러닝 기능을 제공하기 위해 설계된 오픈 리서치 플랫폼이다. 유럽 컨소시엄이 개발한 이 플랫폼은 지속적인 클라우드 연결에 의존하지 않고 실시간으로 주변 환경을 인식하고 해석할 수 있는 애플리케이션을 구축하기 위한 하드웨어 및 소프트웨어 프레임워크를 제공한다. 이 프로젝트는 소형 에너지 효율 하드웨어에서 구현 가능하게 함으로써 비전 기반 인공지능에 대한 접근성을 민주화하는 것을 목표로 했다.
이 플랫폼은 신경망 및 기타 머신 러닝 알고리즘을 실행하도록 최적화된 처리 장치와 카메라 모듈을 통합한다. 스마트 홈 기기, 웨어러블 기술부터 산업 검사 및 환경 모니터링에 이르기까지 다양한 애플리케이션을 위한 다목적 빌딩 블록으로 구상되었다. Eyes of Things 플랫폼은 기기에서 데이터를 로컬로 처리함으로써 클라우드 중심 접근 방식에 내재된 지연 시간, 개인 정보 보호 및 대역폭 관련 문제를 해결한다.
아키텍처 및 하드웨어
Eyes of Things 하드웨어는 이미지 센서와 저전력 프로세서를 결합한 시스템 온 모듈을 중심으로 구성된다. 초기 레퍼런스 디자인은 ARM 아키텍처의 에너지 효율성을 활용한 ARM 기반 프로세서를 사용했다. 이 모듈에는 추가 센서와 액추에이터를 연결하기 위한 인터페이스가 포함되어 더 큰 시스템에 내장될 수 있다. 디자인은 유연성을 강조하여 개발자가 특정 사용 사례에 맞게 플랫폼을 조정할 수 있게 한다.
아키텍처의 핵심 구성 요소는 소프트웨어 개발 키트(SDK)로, 기본 하드웨어를 추상화하고 카메라 접근, 추론 모델 실행 및 전력 소비 관리를 위한 API 세트를 제공한다. SDK는 맞춤형 Linux 배포판을 포함한 여러 운영 체제를 지원하며, 더 강력한 머신에서 훈련된 모델을 배포하기 위한 도구를 제공한다.
소프트웨어 및 머신 러닝 통합
Eyes of Things의 소프트웨어 스택은 고수준 딥 러닝 프레임워크와 리소스 제약이 있는 엣지 기기 간의 격차를 해소하도록 설계되었다. TensorFlow 및 Caffe와 같은 인기 프레임워크로 훈련된 모델을 실행할 수 있는 런타임이 포함되어 있으며, 이를 임베디드 프로세서에 최적화된 형식으로 변환한다. 이를 통해 개발자는 객체 감지, 이미지 분류 및 얼굴 인식과 같은 작업에 사전 훈련된 모델을 활용할 수 있다.
플랫폼은 또한 모델 가지치기 및 양자화 기법을 통합하여 신경망의 계산 및 메모리 사용량을 줄이고, 제한된 하드웨어에서 실시간 실행에 적합하게 만든다. SDK는 성능 벤치마킹 및 특정 프로세서에 대한 모델 최적화 유틸리티를 제공하여 애플리케이션이 허용 가능한 프레임 속도와 정확도를 달성할 수 있도록 보장한다.
애플리케이션 및 사용 사례
Eyes of Things는 자율적으로 작동할 수 있는 새로운 종류의 지능형 기기를 가능하게 하기 위한 것이었다. 프로젝트에서 시연된 예시 애플리케이션에는 사람, 동물 및 차량을 구분할 수 있는 스마트 초인종, 시각 장애인을 위해 텍스트를 소리 내어 읽어주는 웨어러블 기기, 생산 라인에서 결함을 감지할 수 있는 산업용 센서가 포함된다. 플랫폼의 저전력 소비는 장기간 작동해야 하는 배터리 구동 기기에 적합하다.
생성형 AI 및 대규모 언어 모델 영역에서 Eyes of Things가 옹호한 엣지 컴퓨팅 원칙은 점점 더 관련성이 높아지고 있다. 클라우드 서비스에만 의존하지 않고 더 작고 특화된 모델을 기기에서 로컬로 실행하려는 관심이 증가하고 있기 때문이다. 기기 내 처리에 대한 프로젝트의 접근 방식은 Apple 및 Qualcomm과 같은 회사가 스마트폰 및 기타 소비자 전자 제품의 신경 처리 장치에 막대한 투자를 하고 있는 기술 산업의 광범위한 추세와 일치한다.
개발 및 생태계
Eyes of Things 프로젝트는 유럽 연합의 Horizon 2020 연구 및 혁신 프로그램의 자금 지원을 받았다. 컨소시엄에는 유럽 전역의 학계 및 산업 파트너가 포함되어 컴퓨터 비전, 임베디드 시스템 및 머신 러닝 전문 지식을 결합했다. 프로젝트는 하드웨어 설계와 소프트웨어를 오픈 소스로 공개하여 커뮤니티가 플랫폼을 기반으로 구축하고 발전에 기여할 수 있게 했다.
개발자를 지원하기 위해 커뮤니티 포럼과 문서 포털이 설립되었고, 실험을 장려하기 위해 일련의 워크숍과 해커톤이 조직되었다. 플랫폼은 또한 데이터 증강을 통한 견고한 모델 훈련 및 커리큘럼 학습을 통한 추론 효율성 향상과 같은 주제를 탐구하는 여러 연구 프로젝트에서 사용되었다. 초기 자금 지원 기간은 종료되었지만, 프로젝트의 오픈 소스 특성 덕분에 구성 요소는 연구자와 취미 개발자에 의해 계속 사용되고 적응되고 있다.
유산 및 영향
Eyes of Things 프로젝트는 엣지 AI로의 광범위한 운동에 기여하여 제한된 리소스를 가진 기기에서 정교한 비전 작업을 수행할 수 있음을 입증했다. 오픈 하드웨어와 소프트웨어에 대한 강조는 해당 분야의 후속 이니셔티브에 청사진을 제공했다. 임베디드 배포를 위한 신경망 최적화에 대한 프로젝트의 연구 결과는 모델 압축 및 효율적인 추론의 모범 사례에 정보를 제공했다.
2020년대 중반 현재, 엣지 AI의 환경은 크게 발전했으며, 주요 칩 제조업체와 클라우드 제공업체의 상업용 제품이 턴키 솔루션을 제공하고 있다. 그러나 Eyes of Things 플랫폼은 인공지능을 엣지에 도입하는 포괄적이고 개방적인 접근 방식의 주목할 만한 초기 사례로 남아 있으며, 그 문서와 설계는 자체 지능형 기기를 구축하는 데 관심이 있는 사람들을 위한 교육 리소스로 계속 사용되고 있다.