전천후 FDR 스카이 모델 Icarus

초록

Icarus는 고해상도 전동적 범위(FDR) 환경맵을 생성하는 딥러닝 기반 스카이 모델로, LDR 브라켓을 활용해 노출 범위를 분해·재조합하고, 사용자가 태양·구름 위치와 텍스처를 직관적으로 제어할 수 있게 설계되었습니다. 기존 DNN 스카이 모델이 겪던 14EV 이상의 태양 영역 클래스 불균형 문제를 해결하고, 실제 촬영된 HDR 이미지와 동등한 조명 정확도와 포토리얼리즘을 제공합니다.

상세 분석

Icarus 논문은 기존 딥러닝 기반 스카이 모델이 고동적 범위(특히 14EV 이상)의 태양 영역을 정확히 재현하지 못하는 한계를 정확히 짚어낸 뒤, 이를 극복하기 위한 두 가지 핵심 아이디어를 제시한다. 첫 번째는 HDR 이미지를 직접 LDR 노출 브라켓으로 분해(bracketing)하는 방법이다. 저자들은 HDR → LDR 변환에 일반적으로 사용되는 톤 매핑 연산이 비선형성을 도입해 고노출 영역에서 작은 LDR 오차가 HDR로 복원될 때 기하급수적으로 증폭된다는 점을 지적하고, 대신 노출 시간 Δt에 따라 직접적인 역톤 매핑을 수행해 N개의 LDR 노출 이미지를 생성한다. 이렇게 얻어진 브라켓은 각 노출 구간마다 클래스 불균형을 완화하고, DNN가 각 구간을 독립적으로 학습하도록 만든다. 두 번째는 스타일 인코더‑매퍼와 SEAN 기반 디코더를 결합한 새로운 아키텍처이다. RGB 스타일 인코더는 입력 이미지와 세그멘테이션 라벨을 이용해 클라우드·태양 텍스처의 잠재 코드를 추출하고, RND 스타일 매퍼는 라벨에 맞는 스타일 코드를 생성한다. 생성기(G)와 디코더(D)는 이 스타일 코드를 조건으로 받아 각각 N개의 LDR 브라켓을 출력한다. 이후 제안된 HDR 디스크리미네이터와 LDR 디스크리미네이터가 각각 브라켓의 노출 일관성 및 전체 HDR 재구성을 평가해 손실을 역전파한다. 특히, HDR 디스크리미네이터는 통합 조도 (∫Ω|I|)와 EV(노출값)라는 물리 기반 메트릭을 사용해 태양 디스크의 밝기와 그림자 형성을 정량적으로 검증한다. Fusion 단계에서는 로버트슨 가중치 합(f_Robertson) 혹은 기존 HDR 합성 기법을 적용해 N개의 LDR 브라켓을 하나의 FDR HDRI로 복원한다. 이 과정에서 각 브라켓의 가중치를 학습 가능한 파라미터로 두어, 노출 겹침이나 갭이 최소화되도록 최적화한다. 실험에서는 512×512 해상도의 환경맵 512장을 이용해 기존 AllSky·SkyGAN 등과 비교했으며, 시각적 품질뿐 아니라 조도·EV 차이, 그림자 정확도 등 물리 기반 지표에서 현저히 우수함을 보였다. 또한, 사용자는 태양의 방위·고도와 클라우드 텍스처를 직접 지정하거나, 스타일 믹서(mixer)를 통해 무작위 스타일을 생성할 수 있어, 실시간 인터랙티브 콘텐츠 제작에 적합한 수준의 제어성을 제공한다. 전체적으로 Icarus는 HDR 브라켓 기반 데이터 전처리, 물리 기반 손실 설계, 그리고 스타일 조건부 생성이라는 세 축을 결합해, 고동적 범위 스카이 모델링의 기존 한계를 근본적으로 해소한 점이 가장 큰 공헌이라 할 수 있다.