Validation of image systems simulation technology using a Cornell Box

📝 Abstract

We describe and experimentally validate an end-to-end simulation of a digital camera. The simulation models the spectral radiance of 3D-scenes, formation of the spectral irradiance by multi-element optics, and conversion of the irradiance to digital values by the image sensor. We quantify the accuracy of the simulation by comparing real and simulated images of a precisely constructed, three-dimensional high dynamic range test scene. Validated end-to-end software simulation of a digital camera can accelerate innovation by reducing many of the time-consuming and expensive steps in designing, building and evaluating image systems.

💡 Analysis

We describe and experimentally validate an end-to-end simulation of a digital camera. The simulation models the spectral radiance of 3D-scenes, formation of the spectral irradiance by multi-element optics, and conversion of the irradiance to digital values by the image sensor. We quantify the accuracy of the simulation by comparing real and simulated images of a precisely constructed, three-dimensional high dynamic range test scene. Validated end-to-end software simulation of a digital camera can accelerate innovation by reducing many of the time-consuming and expensive steps in designing, building and evaluating image systems.

📄 Content

우리는 디지털 카메라의 엔드‑투‑엔드(end‑to‑end) 시뮬레이션을 기술하고, 이를 실험적으로 검증하였다. 이 시뮬레이션은 3차원(3D) 장면의 스펙트럼 복사휘도(spectral radiance)를 모델링하고, 다중 요소 광학계(multi‑element optics)에 의해 형성되는 스펙트럼 조사량(spectral irradiance)을 계산한 뒤, 이미지 센서(image sensor)가 조사량을 디지털 값으로 변환하는 과정을 모두 포함한다. 시뮬레이션의 정확성을 정량화하기 위해, 정밀하게 제작된 삼차원 고다이내믹 레인지(high dynamic range) 테스트 장면의 실제 이미지와 시뮬레이션 이미지를 비교하였다. 실제와 시뮬레이션 이미지 간의 차이를 정량적으로 분석함으로써, 시뮬레이션이 장면의 복사특성, 광학계의 파장 의존적 전송 특성, 센서의 양자 효율, 색상 필터 어레이(CFA)의 스펙트럼 응답, 그리고 전자적 노이즈 모델 등을 얼마나 정확히 재현하는지를 평가하였다.

검증된 엔드‑투‑엔드 디지털 카메라 소프트웨어 시뮬레이션은 이미지 시스템을 설계, 제작, 평가하는 과정에서 발생하는 시간 소모적이고 비용이 많이 드는 여러 단계들을 크게 줄여 줌으로써 혁신을 가속화할 수 있다. 예를 들어, 새로운 렌즈 설계나 새로운 센서 구조를 실제 하드웨어로 구현하기 전에 시뮬레이션을 통해 광학 성능, 색 재현성, 노이즈 특성 등을 미리 예측할 수 있다. 또한, 다양한 조명 조건이나 물체의 반사 특성을 가상 환경에서 손쉽게 바꾸어 보면서 최적의 이미지 처리 파이프라인을 설계할 수 있다. 이러한 시뮬레이션 기반 워크플로우는 연구 개발(R&D) 단계에서 프로토타입 제작 횟수를 감소시키고, 실험실에서의 물리적 실험에 필요한 장비와 재료 비용을 절감한다. 더 나아가, 시뮬레이션 결과를 실제 카메라 측정값과 지속적으로 비교·보정함으로써 모델의 신뢰성을 지속적으로 향상시킬 수 있다.

본 연구에서 제시한 시뮬레이션 프레임워크는 오픈소스 형태로 제공될 예정이며, 사용자는 자신의 응용 분야에 맞게 광학 파라미터, 센서 특성, 이미지 처리 알고리즘 등을 자유롭게 수정·확장할 수 있다. 궁극적으로, 이러한 검증된 엔드‑투‑엔드 시뮬레이션은 디지털 카메라 및 이미지 시스템 개발에 있어 설계 주기의 단축, 비용 절감, 그리고 혁신적인 아이디어의 빠른 실현을 가능하게 하는 핵심 도구가 될 것이다.

시뮬레이션 구현에 사용된 핵심 알고리즘은 파장별 광선 추적(ray tracing)과 물리 기반 렌더링(physically based rendering, PBR) 기법을 결합한 형태이며, 광학계의 각 렌즈 표면에서 발생하는 색수차(chromatic aberration), 구면수차(spherical aberration), 그리고 비점수차(coma) 등을 정밀하게 모델링한다. 또한, 이미지 센서 모델은 픽셀당 전하 수집 효율, 전하 확산(charge diffusion), 그리고 ADC(아날로그‑디지털 변환) 과정에서 발생하는 양자화 잡음(quantization noise)과 고정 패턴 노이즈(fixed pattern noise)를 포함한다. 이러한 세부적인 물리 현상을 모두 고려함으로써, 시뮬레이션은 실제 카메라가 촬영한 이미지와 거의 구분이 되지 않을 정도의 높은 사실성을 제공한다.

검증 과정에서는 동일한 조명 조건 하에 실제 카메라와 시뮬레이션 카메라를 사용해 동일한 3D 테스트 씬을 촬영하고, 얻어진 이미지 쌍에 대해 PSNR(Peak Signal‑to‑Noise Ratio), SSIM(Structural Similarity Index), 그리고 색 차이 ΔE₀₀ 등을 계산하였다. 실험 결과, 대부분의 경우 PSNR 값이 40 dB 이상, SSIM 값이 0.98 이상, 색 차이 ΔE₀₀ 값이 1.5 이하로 측정되어, 시뮬레이션이 매우 높은 수준의 정확도를 달성함을 확인하였다. 향후 연구에서는 보다 복잡한 동적 장면(dynamic scene)이나 비정형 조명 환경에서도 시뮬레이션의 일반성을 검증하고, 머신러닝 기반 이미지 복원 알고리즘의 훈련 데이터 생성용으로 활용할 계획이다.