물리 기반 확산 모델로 구현한 전면 이미지 리라이트 PI‑Light

초록

PI‑Light는 사전 학습된 이미지 확산 모델을 두 단계로 재구성해 전면 이미지의 물리적 일관성을 유지하면서 조명을 자유롭게 변환한다. 배치‑aware 어텐션으로 여러 이미지 간 내재적 특성(알베도·노멀·러프니스·메탈릭)의 일관성을 높이고, 물리‑인스파이어드 손실과 신경 렌더링 모듈을 통해 실제 광전달 법칙을 강제한다. 새로 구축한 조명 제어 데이터셋을 활용해 적은 양의 학습으로도 실세계 장면에 뛰어난 일반화 성능을 보인다.

상세 분석

PI‑Light는 기존 전면 이미지 리라이트 연구가 안고 있던 세 가지 핵심 문제—대규모 구조화된 조명‑다중 이미지 데이터 부족, 물리적 타당성 결여, 데이터‑드리븐 편향에 의한 일반화 한계—를 동시에 해결하려는 시도다. 첫 번째 단계인 역신경 렌더링에서는 사전 학습된 Stable Diffusion의 U‑Net을 변형해 입력 이미지와 노이즈를 동시에 네 개의 내재적 컴포넌트(알베도, 노멀, 러프니스, 메탈릭)로 디코딩한다. 여기서 핵심은 ‘배치‑aware 어텐션’이다. 기존의 셀프‑어텐션은 이미지 내부에서만 정보를 교환하지만, PI‑Light는 배치 차원까지 어텐션을 확장해 동일 배치 내 여러 이미지가 서로의 구조적 정보를 공유하도록 만든다. 이는 특히 동일 씬의 서로 다른 조명 조건을 가진 이미지들 사이에서 알베도·노멀 일관성을 크게 향상시킨다.

두 번째 단계인 신경 전방 렌더링에서는 추출된 내재적 특성과 목표 조명 조건을 입력으로 받아, 물리‑인스파이어드 손실을 통해 실제 라이트 트랜스포트 방정식을 근사한다. 구체적으로, 반사 모델은 Disney Principled BRDF(라미버트 + Cook‑Torrance)를 사용하고, 조명 표현은 HDRI 기반 환경맵의 전면 반구만을 회색 구 형태로 추출해 ‘전면 조명’으로 제한한다. 이렇게 하면 자체 발광 객체나 배경 조명에 의한 혼선을 방지하면서 사용자가 직관적으로 빛의 방향·강도를 제어할 수 있다. 물리‑인스파이어드 손실은 확산 과정의 V‑prediction 손실에 추가되어, 디퓨전 모델이 학습 초기에 물리적 라이트 플로우를 따르는 방향으로 파라미터를 조정하도록 유도한다. 결과적으로 학습 수렴이 빨라지고, 적은 데이터로도 물리적으로 일관된 하이라이트와 디퓨즈 쉐이딩을 재현한다.

데이터 측면에서 저자들은 두 종류의 데이터셋을 자체 구축했다. 객체 레벨에서는 Obja‑verse에서 BRDF 재질을 가진 10,000여 개 객체를 추출해 10개의 뷰와 10개의 조명 조건(포인트 라이트·HDRI)으로 100장씩 렌더링, 총 1M 장 이상의 이미지와 정확한 내재적 라벨을 확보했다. 씬 레벨에서는 BlenderKit에서 300개의 실내·실외 씬을 선정하고, 카메라 위치와 조명을 무작위로 변형해 다양한 그림자·하이라이트 패턴을 만든다. 특히 조명 라벨은 기존 연구가 사용하던 방사량(irradiance) 대신 전면 구 형태의 회색 구 이미지로 제공해, 조명 제어 시 물리적 간섭을 최소화한다.

실험 결과는 두 가지 축에서 평가되었다. (1) 정량적 지표인 RMSE·SSIM·LPIPS에서 기존 최첨단인 RGB↔X, LightIt, OutCast 등을 크게 앞섰으며, (2) 정성적 평가에서는 투명 물체, 금속성 표면, 복합 조명 상황에서도 알베도 일관성과 하이라이트 재현성이 뛰어나다는 점을 확인했다. 특히 ‘배치‑aware 어텐션’이 적용된 모델은 동일 씬의 여러 조명 변형 이미지 간 알베도·노멀 차이가 30% 이상 감소했다.

한계점으로는 (a) 전면 구 조명 표현이 전역 조명(예: 복잡한 간접광) 재현에 제약을 줄 수 있고, (b) 현재는 2D 이미지에 국한돼 비디오 연속성 유지가 미흡하며, (c) 고해상도(>1024²) 이미지에 대한 메모리 요구량이 아직 높은 편이다. 향후 연구에서는 전역 라이트 전파를 위한 라디언스 캐시와 비디오 디퓨전 확장, 그리고 메모리 효율적인 하이퍼‑스케일링 기법을 도입할 여지가 있다.

전반적으로 PI‑Light는 물리 기반 렌더링 원리를 디퓨전 모델에 자연스럽게 통합함으로써, 데이터 효율성, 물리적 타당성, 그리고 실세계 일반화라는 세 축을 동시에 만족시키는 새로운 패러다임을 제시한다.