图像形成是三维场景中物体反射或发射的光被捕获以产生二维图像的物理和数学过程。这一过程是摄影、电影制作、医学成像和计算机视觉系统的核心。它涉及光与光学元件（如透镜和光圈）的相互作用，以及传感器将光能转换为数字或模拟信号的过程。理解图像形成对于设计相机、解释图像以及开发用于目标检测和场景重建等任务的算法至关重要。
图像形成的研究借鉴了几何光学（描述光线如何通过透镜传播和折射）和辐射度量学（量化光的能量）。完整的图像形成模型考虑了相机的内在参数（焦距、主点、镜头畸变）和外在参数（在空间中的位置和方向）。这些参数将三维世界坐标映射到二维图像坐标，这种变换通常由针孔相机模型表示。真实相机因透镜像差、衍射和传感器噪声而偏离这一理想模型，这些偏差在高级成像流程中得到校正或建模。
光学原理
针孔相机模型是图像形成的最简单表示，光线通过小孔并在平面上投影出倒像。真实透镜取代针孔以收集更多光线并聚焦，利用折射将点光源的光线汇聚到传感器上的单一点。焦距决定放大率和视野；较短的焦距产生更广的角度，而较长的焦距放大远处的物体。光圈大小控制光线量和景深，较小的光圈在更大范围内增加清晰度但降低亮度。由光的波动性引起的衍射在非常小的光圈下限制了分辨率。
辐射度量和光度因素
辐射度量学描述从光源到传感器的能量传递。每个传感器像素处的辐照度取决于场景的反射率、照明强度和光学系统的传输效率。双向反射分布函数（BRDF）表征表面如何根据入射角和观察角反射光线，影响阴影和外观。光度效应包括渐晕（图像边缘因光线收集减少而变暗）和由内部反射引起的镜头眩光。传感器响应通常建模为线性或伽马校正函数，将入射光子转换为数字值，噪声来自光子散粒噪声和电子读出噪声。
几何变换
图像形成通过一系列变换将三维点映射到二维坐标：世界到相机坐标（刚体旋转和平移）、相机到图像平面（透视投影）以及图像平面到像素坐标（缩放和平移）。这以齐次坐标中的3x4投影矩阵表示。透镜畸变，特别是径向和切向分量，扭曲了理想投影，并通过校准参数进行校正。对于多相机系统，对极几何描述了跨视图对应点之间的关系，从而实现深度估计和三维重建。
数字传感器和采样
现代数码相机使用电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）传感器，将光子转换为电荷。每个传感器元素（像素）在曝光时间内积分光线，颜色滤波阵列（如拜耳模式）采样红、绿和蓝波长。生成的马赛克经去马赛克处理以产生全彩图像。由奈奎斯特-香农定理支配的采样理论规定，传感器的空间分辨率必须至少是场景中最高空间频率的两倍，以避免混叠。放置在传感器前的抗混叠滤波器模糊高频细节以防止莫尔纹模式。
计算机视觉和人工智能中的应用
图像形成模型是计算机视觉的基础。相机校准估计内在和外在参数，是运动结构和同时定位与建图（SLAM）等任务的前提。在人工智能和机器学习中，合成图像生成依赖于图像形成的准确渲染，以创建用于神经网络模型的训练数据。数据增强等技术模拟照明、视点和传感器噪声的变化以提高模型鲁棒性。深度学习架构，如残差网络和U-Net，在处理图像进行去噪、超分辨率和深度预测等任务时通常假设前向图像形成模型。麻省理工学院计算机科学与人工智能实验室和伯克利人工智能研究等机构的研究继续完善这些模型，用于自动驾驶、医学成像和增强现实等应用。
历史发展
图像形成的概念可追溯到古代的暗箱观察，光线通过小孔投影出倒置的场景。19世纪摄影透镜的发展，由约瑟夫·佩兹瓦尔等人开创，提高了清晰度和光线收集能力。20世纪见证了电子传感器的发明，CCD于1969年在贝尔实验室由威拉德·博伊尔和乔治·史密斯开发。数字成像在1990年代变得普遍，而将光学与后处理算法相结合的计算摄影在2000年代出现。如今，图像形成模型被集成到生成式人工智能系统中，这些系统合成逼真的图像，建立在支配真实相机相同的物理原理之上。