You Only Look Once(YOLO)는 합성곱 신경망을 기반으로 한 실시간 객체 탐지 시스템 시리즈이다. 2015년 Joseph Redmon 등에 의해 처음 소개된 YOLO는 여러 차례의 반복과 개선을 거쳐 가장 인기 있는 객체 탐지 프레임워크 중 하나가 되었다. "You Only Look Once"라는 이름은 알고리즘이 예측을 수행하기 위해 신경망을 통한 단 한 번의 순방향 전파만 필요하다는 사실을 의미하며, 이는 단일 이미지에 대해 수천 번의 전파가 필요한 R-CNN과 같은 이전의 영역 제안 기반 기법과 대조된다.
YOLO는 객체 탐지를 단일 회귀 문제로 구성하여 이미지 픽셀에서 경계 상자 좌표와 클래스 확률을 직접 예측한다. 이 통합 아키텍처는 경쟁력 있는 정확도를 유지하면서 실시간 처리 속도를 가능하게 하며, 비디오 감시, 자율 주행, 로봇 공학과 같은 응용 분야에 적합하다.
개요
R-CNN 및 OverFeat과 같은 이전 방법과 비교하여, YOLO는 모델을 여러 위치와 배율로 이미지에 적용하는 대신 단일 신경망을 전체 이미지에 적용한다. 이 네트워크는 이미지를 영역으로 나누고 각 영역에 대한 경계 상자와 확률을 예측한다. 이러한 경계 상자는 예측된 확률에 따라 가중치가 부여된다.
이 접근 방식은 딥러닝과 신경망의 아이디어, 특히 컴퓨터 비전 작업에서 효과적임이 입증된 합성곱 아키텍처에서 영감을 얻었다. YOLO의 설계는 속도와 단순성을 우선시하며, 일부 위치 정확도를 상당한 계산 효율성과 맞바꾼다.
OverFeat
OverFeat은 객체 분류와 위치 파악을 동시에 수행하는 초기의 영향력 있는 모델이었다. 그 아키텍처는 다음과 같다:
- AlexNet과 같은 이미지 분류 전용 신경망("분류 훈련 네트워크")을 훈련한다.
- 훈련된 네트워크의 마지막 레이어를 제거하고, 가능한 모든 객체 클래스에 대해 마지막 레이어에 네트워크 모듈("회귀 네트워크")을 초기화한다. 기본 네트워크의 매개변수는 고정된다. 회귀 네트워크는 객체 경계 상자의 두 모서리의 (x, y) 좌표를 예측하도록 훈련된다.
- 추론 중에는 분류 훈련 네트워크를 동일한 이미지에 대해 다양한 확대 배율과 잘라내기로 실행한다. 각각에 대해 클래스 레이블과 확률을 출력한다. 각 출력은 해당 클래스의 회귀 네트워크에 의해 처리되어 수천 개의 클래스 레이블과 확률을 가진 경계 상자가 생성된다. 이러한 상자는 단일 클래스 레이블을 가진 단일 상자만 남을 때까지 병합된다.
OverFeat은 탐지를 위한 종단 간 학습의 가능성을 입증했지만, 다중 배율 추론 절차로 인해 계산 비용이 많이 들었다. YOLO는 단일 패스로 탐지를 수행하여 이를 단순화했다.
버전
YOLO 시리즈에는 두 부분이 있다. 원래 부분은 YOLOv1, v2, v3를 포함하며, 모두 Joseph Redmon이 유지 관리하는 웹사이트에 출시되었다. 이후 버전(v4 이상)은 다른 연구자들에 의해 개발되어 별도로 유지 관리되었다.
YOLOv1
2015년에 도입된 원래 YOLO 알고리즘은 이미지를 S x S 그리드의 셀로 나눈다. 객체의 경계 상자 중심이 그리드 셀에 속하면 해당 셀이 그 객체를 "포함"한다고 말한다. 각 그리드 셀은 B개의 경계 상자와 해당 상자에 대한 신뢰 점수를 예측한다. 이러한 신뢰 점수는 모델이 상자에 객체가 포함되어 있다고 확신하는 정도와 예측한 상자가 얼마나 정확하다고 생각하는지를 반영한다.
더 자세히 설명하면, 네트워크는 S^2 패치 각각에 대해 동일한 합성곱 연산을 수행한다. 각 패치에 대한 네트워크 출력은 튜플 (p_1, ..., p_C, c_1, x_1, y_1, w_1, h_1, ..., c_B, x_B, y_B, w_B, h_B)이며, 여기서 p_i는 셀이 최소한 하나의 객체를 포함한다는 조건 하에 셀이 클래스 i의 객체를 포함할 조건부 확률이다. x_j, y_j, w_j, h_j 항은 셀 중심에 있는 j번째 예측 경계 상자의 중심 좌표, 너비, 높이이다. 각 예측이 특정 종류의 경계 상자에 특화될 수 있도록 여러 경계 상자가 예측된다. c_j 항은 각 경계 상자와 해당 실제 값 간의 예측된 교집합 대 합집합(IoU)이다.
네트워크 아키텍처는 24개의 합성곱 레이어와 2개의 완전 연결 레이어로 구성된다. 훈련 중에는 실제 값 경계 상자를 포함하는 각 셀에 대해 실제 값과 가장 높은 IoU를 가진 예측 경계 상자만 경사 하강에 사용된다. 선택된 상자의 좌표는 실제 값에 접근하도록 훈련되고, 올바른 클래스의 클래스 확률은 1에 접근하도록 훈련되며, 다른 클래스 확률은 0에 접근하도록 훈련된다. 실제 값 객체가 없는 셀은 신뢰 점수 손실에만 기여하여 신뢰도를 0으로 밀어낸다.
YOLOv2 및 YOLOv3
2016년에 출시된 YOLOv2는 배치 정규화, 앵커 상자, 다중 배율 훈련 전략을 도입하여 재현율과 위치 정확도를 개선했다. 또한 사용자 지정 darknet-19 아키텍처를 사용했으며 GPU에서 최대 67프레임/초로 실행될 수 있었다. 2018년에 출시된 YOLOv3는 세 가지 탐지 배율을 가진 특징 피라미드 네트워크를 추가하여 작은 객체를 더 잘 처리할 수 있게 했다. 더 깊은 darknet-53 백본과 클래스 예측을 위한 로지스틱 회귀를 사용했다.
이후 버전
2020년 Alexey Bochkovskiy와 동료들이 출시한 YOLOv4는 CSPDarknet53, PANet, 모자이크 데이터 증강을 통합하여 최첨단 속도와 정확도 균형을 달성했다. YOLOv5, YOLOv6, YOLOv7, YOLOv8이 뒤를 이었으며, 효율성, 엣지 장치 배포, 인스턴스 분할 및 포즈 추정과 같은 탐지 외 작업 지원이 개선되었다. 이러한 이후 버전은 YOLOv5 및 YOLOv8의 Ultralytics를 포함한 다양한 그룹에 의해 유지 관리된다.
응용 및 영향
YOLO는 실시간 기능으로 인해 산업과 학계에서 널리 채택되었다. 자율 주행에서 객체 탐지를 위해 Tesla Autopilot, Waymo의 자율 주행 차량, Cruise의 로보택시 차량에 사용된다. 또한 이미지 분석을 위한 Amazon Web Services Rekognition 및 Google Cloud Vision의 응용 프로그램을 지원한다. 인공지능 연구에서 YOLO는 새로운 탐지 방법을 비교하기 위한 기준선 역할을 하며 수많은 변형과 확장에 영감을 주었다.
프레임워크의 효율성은 Apple, Samsung Electronics, Qualcomm의 장치를 포함한 임베디드 및 모바일 배포에 인기를 끌었다. 특히 darknet 및 PyTorch 버전의 오픈 소스 구현은 머신러닝 교육 및 프로토타이핑에서 널리 사용되는 데 기여했다.
한계 및 향후 방향
강점에도 불구하고 YOLO에는 한계가 있다. Faster R-CNN과 같은 2단계 탐지기와 비교하여 작은 객체와 겹치는 인스턴스에 어려움을 겪을 수 있다. 단일 패스 특성은 반복적 정제가 필요한 작업에 덜 유연하게 만든다. 연구자들은 주의 메커니즘 및 트랜스포머 기반 백본과 같은 아키텍처 변경을 통해 이러한 문제를 해결했으며, 이는 비전 작업을 위한 트랜스포머 및 대규모 언어 모델의 추세와 일치한다.
향후 작업은 정확도-속도 균형 개선, 도메인 이동에 대한 견고성, 깊이 및 라이다와 같은 다른 양식과의 통합에 계속 초점을 맞추고 있다. AWS Trainium 및 Cerebras 시스템과 같은 특수 가속기를 포함한 하드웨어가 개선됨에 따라 YOLO 기반 모델은 생성형 AI 파이프라인 및 그 이상에서 실시간 인식을 위해 계속 관련성을 유지할 것으로 예상된다.