画像形成とは、三次元シーン内の物体から反射または放射された光が捕捉され、二次元画像を生成する物理的・数学的プロセスである。このプロセスは、写真、映画撮影、医用画像、コンピュータビジョンシステムの中心となる。レンズや絞りなどの光学素子との光の相互作用、およびセンサーによる光エネルギーのデジタルまたはアナログ信号への変換を含む。画像形成の理解は、カメラの設計、画像の解釈、物体検出やシーン再構築などのタスクのためのアルゴリズム開発に不可欠である。
画像形成の研究は、光線がレンズをどのように進み屈折するかを記述する幾何光学と、光のエネルギーを定量化する放射測定に基づく。完全な画像形成モデルは、カメラの内部パラメータ（焦点距離、主点、レンズ歪み）と外部パラメータ（空間内の位置と向き）を考慮する。これらのパラメータは、3Dワールド座標を2D画像座標にマッピングし、その変換はしばしばピンホールカメラモデルで表現される。実際のカメラは、レンズ収差、回折、センサーノイズによりこの理想モデルから逸脱し、これらは高度な画像処理パイプラインで補正またはモデル化される。
光学原理
ピンホールカメラモデルは画像形成の最も単純な表現であり、光が小さな開口部を通過し、倒立画像を平面に投影する。実際のレンズはピンホールを置き換えてより多くの光を集め、屈折を用いて点光源からの光線をセンサー上の単一点に収束させる。焦点距離は倍率と視野を決定し、短い焦点距離は広い角度を生み、長い焦点距離は遠方の物体を拡大する。絞りサイズは光量と被写界深度を制御し、小さな絞りは広い範囲でシャープネスを向上させるが明るさを減少させる。回折は光の波動性に起因し、非常に小さな絞りで解像度を制限する。
放射測定および測光要因
放射測定は、光源からセンサーへのエネルギー伝達を記述する。各センサーピクセルでの放射照度は、シーンの反射率、照明強度、光学システムの透過効率に依存する。双方向反射分布関数（BRDF）は、表面が入射角と視野角の関数として光をどのように反射するかを特徴付け、陰影と外観に影響を与える。測光効果には、光の収集低下による画像端の暗化であるビネット、内部反射によるレンズフレアが含まれる。センサー応答は、しばしば線形またはガンマ補正関数としてモデル化され、入射光子をデジタル値に変換し、ノイズは光子ショットノイズと電子読み出しノイズから生じる。
幾何学的変換
画像形成は、一連の変換を通じて3D点を2D座標にマッピングする。ワールドからカメラ座標（剛体回転と並進）、カメラから画像平面（透視投影）、画像平面からピクセル座標（スケーリングと並進）である。これは同次座標で3x4投影行列として表現される。レンズ歪み、特に放射方向と接線方向の成分は、理想的な投影を歪め、キャリブレーションパラメータを用いて補正される。多カメラシステムでは、エピポーラ幾何がビュー間の対応点間の関係を記述し、深度推定と3D再構築を可能にする。
デジタルセンサーとサンプリング
現代のデジタルカメラは、電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサーを使用し、光子を電荷に変換する。各センサー要素（ピクセル）は露光時間にわたって光を積分し、カラーフィルターアレイ（ベイヤーパターンなど）が赤、緑、青の波長をサンプリングする。結果として得られるモザイクはデモザイク処理され、フルカラー画像を生成する。ナイキスト・シャノン定理に支配されるサンプリング理論は、センサーの空間解像度がエイリアシングを避けるためにシーン内の最高空間周波数の少なくとも2倍でなければならないことを規定する。センサー前のアンチエイリアシングフィルターは、モアレパターンを防ぐために高周波の詳細をぼかす。
コンピュータビジョンとAIへの応用
画像形成モデルはコンピュータビジョンの基盤である。内部および外部パラメータを推定するカメラキャリブレーションは、structure from motionやSLAMなどのタスクの前提条件である。人工知能と機械学習では、合成画像生成が画像形成の正確なレンダリングに依存して、ニューラルネットワークモデル用のトレーニングデータを作成する。データ拡張などの技術は、照明、視点、センサーノイズの変動をシミュレートしてモデルの堅牢性を向上させる。深層学習アーキテクチャ、例えば残差ネットワークやU-Netは、ノイズ除去、超解像、深度予測などのタスクで画像を処理する際に、しばしば前方画像形成モデルを仮定する。MIT CSAILやバークレーAI研究などの機関での研究は、自動運転、医用画像、拡張現実の応用に向けてこれらのモデルを洗練し続けている。
歴史的発展
画像形成の概念は、小さな穴を通る光が倒立シーンを投影する古代のカメラオブスクラの観察に遡る。19世紀の写真レンズの発展は、ヨーゼフ・ペッツヴァルなどの人物によって先駆けられ、シャープネスと集光性を向上させた。20世紀には電子センサーの発明が見られ、CCDは1969年にベル研究所でウィラード・ボイルとジョージ・スミスによって開発された。デジタルイメージングは1990年代に広く普及し、光学と後処理アルゴリズムを組み合わせた計算写真が2000年代に登場した。今日、画像形成モデルは、実際のカメラを支配する同じ物理原理に基づいて、写実的な画像を合成する生成AIシステムに統合されている。