이미지 형성은 3차원 장면의 물체에서 반사되거나 방출된 빛이 포착되어 2차원 이미지를 생성하는 물리적, 수학적 과정이다. 이 과정은 사진술, 영화 촬영, 의료 영상, 컴퓨터 비전 시스템의 핵심이다. 렌즈와 조리개 같은 광학 요소와 빛의 상호 작용, 그리고 센서가 빛 에너지를 디지털 또는 아날로그 신호로 변환하는 것을 포함한다. 이미지 형성을 이해하는 것은 카메라 설계, 이미지 해석, 객체 탐지 및 장면 재구성 같은 작업을 위한 알고리즘 개발에 필수적이다.
이미지 형성에 대한 연구는 빛의 광선이 렌즈를 통해 어떻게 이동하고 굴절하는지 설명하는 기하 광학과 빛의 에너지를 정량화하는 복사 측정에 기반을 둔다. 완전한 이미지 형성 모델은 카메라의 내부 파라미터(초점 거리, 주점, 렌즈 왜곡)와 외부 파라미터(공간에서의 위치와 방향)를 설명한다. 이러한 파라미터는 3D 세계 좌표를 2D 이미지 좌표로 매핑하며, 이 변환은 종종 핀홀 카메라 모델로 표현된다. 실제 카메라는 렌즈 수차, 회절, 센서 잡음으로 인해 이상적인 모델에서 벗어나며, 이는 고급 영상 처리 파이프라인에서 보정되거나 모델링된다.
광학 원리
핀홀 카메라 모델은 이미지 형성의 가장 단순한 표현으로, 빛이 작은 구멍을 통과하여 평면에 뒤집힌 이미지를 투영한다. 실제 렌즈는 더 많은 빛을 모으고 초점을 맞추기 위해 핀홀을 대체하며, 굴절을 사용하여 점 광원의 광선을 센서의 단일 지점에 수렴시킨다. 초점 거리는 배율과 시야각을 결정하며, 짧은 초점 거리는 더 넓은 각도를 생성하고 긴 초점 거리는 먼 객체를 확대한다. 조리개 크기는 빛의 양과 피사계 심도를 제어하며, 작은 조리개는 더 넓은 범위에서 선명도를 높이지만 밝기를 줄인다. 빛의 파동성으로 인한 회절은 매우 작은 조리개에서 해상도를 제한한다.
복사 및 측광 요소
복사 측정은 광원에서 센서로의 에너지 전달을 설명한다. 각 센서 픽셀의 조도는 장면의 반사율, 조명 강도, 광학 시스템의 투과 효율에 따라 달라진다. 양방향 반사 분포 함수는 입사각과 관측각의 함수로서 표면이 빛을 반사하는 방식을 특성화하며, 음영과 외관에 영향을 미친다. 측광 효과에는 빛 수집 감소로 인해 이미지 가장자리가 어두워지는 비네팅과 내부 반사로 인한 렌즈 플레어가 포함된다. 종종 선형 또는 감마 보정 함수로 모델링되는 센서 응답은 입사 광자를 디지털 값으로 변환하며, 포톤 샷 노이즈와 전자 읽기 노이즈에서 잡음이 발생한다.
기하 변환
이미지 형성은 일련의 변환을 통해 3D 점을 2D 좌표로 매핑한다: 세계에서 카메라 좌표(강체 회전 및 병진), 카메라에서 이미지 평면(원근 투영), 이미지 평면에서 픽셀 좌표(스케일링 및 병진). 이는 동차 좌표에서 3x4 투영 행렬로 표현된다. 특히 방사형 및 접선 성분의 렌즈 왜곡은 이상적인 투영을 왜곡하며, 보정 파라미터를 사용하여 수정된다. 다중 카메라 시스템의 경우, 에피폴라 기하학은 뷰 간의 대응점 관계를 설명하여 깊이 추정과 3D 재구성을 가능하게 한다.
디지털 센서 및 샘플링
현대 디지털 카메라는 전하 결합 소자 또는 상보형 금속 산화물 반도체 센서를 사용하여 광자를 전하로 변환한다. 각 센서 요소(픽셀)는 노출 시간 동안 빛을 통합하며, 컬러 필터 배열(예: Bayer 패턴)은 빨강, 초록, 파랑 파장을 샘플링한다. 결과 모자이크는 디모자이킹되어 풀 컬러 이미지를 생성한다. Nyquist-Shannon 정리에 의해 지배되는 샘플링 이론은 센서의 공간 해상도가 에일리어싱을 방지하기 위해 장면의 최고 공간 주파수의 최소 두 배여야 함을 규정한다. 센서 앞에 배치된 안티 에일리어싱 필터는 고주파 세부 사항을 흐리게 하여 모아레 패턴을 방지한다.
컴퓨터 비전 및 인공지능 응용
이미지 형성 모델은 컴퓨터 비전의 기초이다. 내부 및 외부 파라미터를 추정하는 카메라 보정은 구조적 움직임과 동시적 위치 추정 및 지도 작성 같은 작업의 전제 조건이다. 인공지능 및 기계 학습에서 합성 이미지 생성은 신경망 모델을 위한 훈련 데이터를 만들기 위해 이미지 형성의 정확한 렌더링에 의존한다. 데이터 증강 같은 기법은 조명, 시점, 센서 잡음의 변화를 시뮬레이션하여 모델 견고성을 향상시킨다. 딥 러닝 아키텍처, 예: 잔차 네트워크 및 U-Net는 잡음 제거, 초해상도, 깊이 예측 같은 작업에서 이미지를 처리할 때 종종 순방향 이미지 형성 모델을 가정한다. MIT CSAIL 및 버클리 AI 연구 같은 기관의 연구는 자율 주행, 의료 영상, 증강 현실 응용을 위해 이러한 모델을 지속적으로 개선하고 있다.
역사적 발전
이미지 형성의 개념은 작은 구멍을 통한 빛이 뒤집힌 장면을 투영한 고대 카메라 옵스큐라 관찰로 거슬러 올라간다. Joseph Petzval 같은 인물이 개척한 19세기 사진 렌즈의 발전은 선명도와 광 수집을 개선했다. 20세기는 전자 센서의 발명을 보았으며, 1969년 bell-labs에서 Willard Boyle와 George Smith에 의해 CCD가 개발되었다. 디지털 영상은 1990년대에 널리 보급되었고, 광학과 후처리 알고리즘을 결합한 컴퓨터 포토그래피는 2000년대에 등장했다. 오늘날 이미지 형성 모델은 실제 카메라를 지배하는 동일한 물리적 원리에 기반하여 사실적인 이미지를 합성하는 생성형 AI 시스템에 통합된다.