효율적인 확산 기반 저조도 이미지 향상

초록

본 논문은 저조도 이미지 향상(LLIE)에서 확산 모델의 샘플링 비용을 크게 줄이면서도 성능 저하를 최소화하는 새로운 프레임워크 ReDDiT를 제안한다. 핵심 아이디어는 (1) 점수 함수의 선형 외삽을 통한 피팅 오류 완화와 (2) 반사성(Reflectance) 정보를 활용한 잔차 공간으로의 가우시안 흐름 이동으로 추론 격차(inference gap)를 감소시키는 것이다. 제안된 Reflectance‑Aware Trajectory Refinement(RATR) 모듈로 교사 모델의 경로를 정제하고, 이를 기반으로 2‑step, 4‑step, 8‑step 학생 모델을 학습시켜 기존 10‑step 확산 기반 방법과 동등하거나 더 높은 성능을 달성한다.

상세 분석

본 연구는 저조도 이미지 향상에 확산 모델을 적용하면서 발생하는 두 가지 주요 병목 현상을 체계적으로 분석한다. 첫 번째는 피팅 오류(fitting error) 로, 교사 모델이 학습 과정에서 얻은 점수 함수가 실제 최적 점수와 차이를 보이며, 이 차이가 학생 모델에 그대로 전이될 경우 성능 저하가 발생한다. 저자들은 이 문제를 점수 함수의 선형 외삽(linear extrapolation) 으로 완화한다. 구체적으로, 교사 점수 ϵ_η(x_t, y, t)와 이상적인 점수 ˜ϵ 사이에 스케일링 파라미터 ω∈(0,1]를 도입해 ω·ϵ_η + (1−ω)·˜ϵ 형태로 보정함으로써, 학습된 점수가 과도하게 편향되는 것을 방지한다.

두 번째 병목은 추론 격차(inference gap) 로, 확산 모델은 일반적으로 가우시안 노이즈 흐름을 따라 학습되지만, 저조도 이미지 복원은 보다 결정적인(Deterministic) 변환을 요구한다. 이를 해결하기 위해 저자들은 잔차 공간(residual space) 으로 흐름을 이동한다. 구체적으로, 가우시안 노이즈 ϵ 대신에 ˜ϵ = x_t − α_t·˜x_0 / σ_t 형태의 잔차를 정의하고, ˜x_0를 저조도 이미지와 정답 이미지 사이의 중간 상태로 설정한다. 이때 ˜x_0를 직접 구하기보다는 반사성(Reflectance) 성분을 이용한다. 반사성은 Retinex 이론에 기반해 y(저조도 이미지)에서 조명 맵 h와 노이즈 z를 추정해 x = y − z·h 로 계산된다. 조명 맵은 저조도 이미지의 최대 채널을 사용해 근사하고, 노이즈는 비학습 기반 디노이징 ψ(y)와의 차이(|y−ψ(y)|)로 추정한다. 이렇게 얻은 ˜x_0 = y − z′·h′ 은 교사 경로를 정제하는 RATR 모듈의 입력으로 사용된다.

RATR 모듈은 교사 모델의 전체 trajectory를 ω·x_η + (1−ω)·˜x 형태로 보정한다. 여기서 ˜x은 위에서 정의한 반사성 기반 잔차 경로이며, ω는 학습 중 자동 조정된다. 이 정제된 교사 경로는 Trajectory Distillation 과정에서 학생 모델에 전달된다. 저자들은 2차 디코더 G_θ(x_t, y, t, s) = α_s/α_t·x_t + (σ_s−α_sα_t/σ_t)·ϵ_θ(x_t, y, t) 를 사용해 학생이 t→s 구간을 직접 학습하도록 설계하고, 중간 단계 u∈