컴퓨터 비전에서 큐보이드(cuboid)라는 용어는 행동 인식을 목적으로 추출된 작은 시공간적 볼륨을 설명한다. 이는 기본적인 기하학적 프리미티브 유형으로 간주되며, 평평한 2차원 이미지의 3차원 표현 내에서 3차원 객체를 묘사하는 데 사용된다. 큐보이드는 객체의 단순화된 체적 근사를 제공하여, 소프트웨어가 상세한 외관 모델에 의존하지 않고 기하학적 설명을 통해 장면을 분석할 수 있게 한다.
이 개념은 컴퓨터 비전과 머신 러닝에서 기하학적 프리미티브의 광범위한 사용에서 비롯되었으며, 여기서 상자, 원통, 구와 같은 기본 모양이 장면 이해를 위한 구성 요소 역할을 한다. 큐보이드는 특히 객체 또는 관심 영역 주위에 직사각형 상자 형태의 맞춤을 제공하여 공간과 시간 모두에서 그 공간적 범위를 포착한다. 이는 비디오 프레임 전체에서 동작을 추적하거나 인식해야 하는 작업에 특히 유용하며, 시공간적 볼륨이 짧은 간격 동안의 움직임과 모양 변화를 인코딩하기 때문이다.
생성
큐보이드는 2차원 및 3차원 이미지 모두에서 생성될 수 있다. 한 가지 방법은 이미 큐보이드를 포함하는 그림 모음인 SUN(SUN) 프리미티브 데이터베이스를 사용하는 것이다. 머신 러닝 도구로 SUN 프리미티브 데이터베이스를 분류함으로써, 컴퓨터는 이미지에서 큐보이드가 생성되는 조건을 관찰하고 다른 이미지에서 큐보이드를 생성하는 방법을 학습한다. 이 접근 방식은 지도 학습에 의존하며, 여기서 레이블이 지정된 예제가 알고리즘에 새 데이터에 큐보이드를 식별하고 맞추는 방법을 가르친다.
각 픽셀의 깊이도 기록하는 RGB 이미지인 RGB-D 이미지는 큐보이드를 생성하는 데 때때로 사용된다. 깊이가 이미 기록되어 있기 때문에 컴퓨터는 더 이상 카메라에서 객체의 거리를 추정할 필요가 없어 맞춤 과정이 단순해진다. 이는 로봇 공학 및 증강 현실 응용 프로그램과 같이 깊이 센서가 일반적인 실내 환경에서 특히 유리하다.
큐보이드 생성은 색상 및 조명 변화, 차단, 배경 잡음에 민감하다. 이는 컴퓨터가 여러 색상, 불규칙한 조명, 부분적으로 덮인 객체 또는 배경에 많은 객체가 나타나는 경우 큐보이드를 생성하기 어렵다는 것을 의미한다. 이 제한은 큐보이드 생성 알고리즘이 여전히 비교적 단순하여 시각적 잡음에 의해 방해받을 수 있는 가장자리 감지 및 색상 분할에 종종 의존하기 때문이다.
사용
큐보이드는 포인트 클라우드 기반 3차원 지도를 위해 생성되며 증강 현실, 자동차, 드론 및 로봇의 자동 제어, 객체 감지와 같은 다양한 상황에서 활용될 수 있다. 이러한 맥락에서 큐보이드는 원시 포인트 클라우드 데이터의 복잡성을 줄이는 컴팩트한 표현 역할을 하여 시스템이 공간 관계를 효율적으로 추론할 수 있게 한다.
큐보이드는 소프트웨어가 "객체 비특정" 방식으로 기하학적 설명을 통해 장면을 식별할 수 있게 한다. 이는 특정 객체 범주를 인식하는 대신 시스템이 공간 레이아웃과 체적 점유에 초점을 맞추며, 이는 다양한 유형의 객체와 환경에 적용될 수 있음을 의미한다. 이 속성은 모든 항목을 식별하는 것이 아니라 자유 공간과 장애물을 이해하는 것이 목표인 내비게이션 및 매핑에 유용하다.
컴퓨터가 이미지 인식에 필수적인 것으로 식별하는 이미지 내 위치인 관심 지점은 2차원 이미지에서 생성되어 큐보이드와 함께 이미지 매칭, 방 또는 장면 식별, 인스턴스 인식에 사용될 수 있다. 3차원 이미지에서 생성된 관심 지점은 큐보이드와 함께 활동 인식에 사용될 수 있다. 이는 관심 지점이 소프트웨어가 이미지의 가장 중요한 측면에만 집중할 수 있게 하여 계산 부하를 줄이고 견고성을 향상시키기 때문에 가능하다.
SLAM 및 CAD와의 통합
RGB-D 이미지와 동시적 위치 추정 및 매핑(SLAM) 시스템은 RGB-D SLAM 시스템에서 함께 사용되며, 이는 컴퓨터 지원 설계(CAD) 시스템이 포인트 클라우드 기반 3차원 지도를 생성하는 데 사용된다. 이러한 시스템에서 큐보이드는 재구성된 포인트 클라우드에서 추출되어 의미론적 또는 기하학적 앵커를 제공하여 객체 배치 및 장면 편집과 같은 작업을 용이하게 할 수 있다.
대부분의 산업용 다축 가공 도구는 컴퓨터 지원 제조를 사용하며 이후 큐보이드 작업 공간에서 작동한다. 이는 용어의 별도이지만 관련된 사용으로, 가공에 사용 가능한 물리적 볼륨이 공구 경로 계획 및 충돌 회피를 위해 종종 큐보이드로 근사된다. 큐보이드의 기하학적 단순성은 이러한 산업 응용 프로그램에서 계산적으로 다루기 쉽게 만든다.
과제 및 향후 방향
유용성에도 불구하고 큐보이드 기반 방법은 복잡한 장면에서 과제에 직면한다. 조명 및 폐색에 대한 민감성은 야외 또는 동적 환경에서의 신뢰성을 제한한다. 연구자들은 큐보이드 감지 및 맞춤을 개선하기 위해 딥 러닝 및 신경망 기반을 포함한 더 견고한 알고리즘을 탐구하고 있다. 예를 들어, 잔차 네트워크 및 U-Net 아키텍처는 큐보이드 제안을 출력할 수 있는 의미론적 분할 작업에 적용되었다.
또 다른 방향은 데이터 증강 기술과 큐보이드를 통합하여 조명 조건 및 객체 외관 전반에 걸쳐 더 잘 일반화되는 모델을 훈련하는 것이다. 또한 훈련 파이프라인에서 배치 정규화 및 드롭아웃을 사용하면 잡음이 많은 깊이 데이터를 처리할 때 학습을 안정화하는 데 도움이 된다.
관련 개념
큐보이드는 경계 상자 및 방향성 경계 상자와 같은 컴퓨터 비전에서 사용되는 다른 기하학적 프리미티브와 밀접하게 관련되어 있다. 경계 상자는 축 정렬되어 2D 객체 감지에 자주 사용되는 반면, 큐보이드는 이를 3D 공간과 시간으로 확장한다. 활동 인식에서 큐보이드는 Harris3D 또는 비디오에 적응된 스케일 불변 특징 변환(SIFT)과 같은 관심 지점 감지기와 유사한 시공간적 특징 추출의 한 형태로 볼 수 있다.
큐보이드 생성은 지도 학습 및 비지도 학습 방법을 포함한 머신 러닝 기술을 자주 사용한다. 특히, 컨볼루션 신경망은 전통적인 수작업 특징을 우회하여 이미지에서 직접 큐보이드 매개변수를 예측하는 데 사용되었다. 이는 딥 러닝 모델이 수동 파이프라인을 대체하는 인공 지능의 광범위한 추세와 일치한다.