적응형 확산 샘플링을 이용한 강인한 깊이 초해상도

초록

**
AdaDS는 저해상도·다양한 손상 형태의 깊이 영상을 고해상도 깊이 맵으로 복원하는 프레임워크이다. 전방 확산 과정에서 가우시안 스무딩이 입력과 정답 사이의 분포 차이를 수축시키는 성질을 이용해, 불확실성을 기반으로 최적의 역확산 시작 시점을 자동 선택한다. 선택된 시점에 맞춰 맞춤형 노이즈를 주입해 고품질 깊이 분포의 고밀도 영역으로 샘플을 이동시킨 뒤, 사전 학습된 대규모 깊이 확산 모델(Marigold‑LCM)로 정제한다. 실험 결과, 실세계·합성 데이터 모두에서 제로‑샷 일반화와 다양한 손상에 대한 복원 성능이 기존 최첨단 방법을 크게 앞선다.

**

상세 분석

**
AdaDS는 기존 깊이 초해상도(DSR) 방법이 갖는 “직접 회귀 → 손상에 취약”이라는 근본적인 한계를 확산 모델의 확률적 특성을 활용해 극복한다. 핵심 아이디어는 전방 확산 과정에서 가우시안 노이즈가 점진적으로 입력과 정답의 분포를 동일한 표준 정규분포로 수축한다는 사실이다. 이때, 어느 시점(t)에서 역확산을 시작하느냐에 따라 입력 내용 보존 정도와 고품질 깊이 사후분포와의 정렬 정도가 트레이드오프된다. AdaDS는 두 단계 파이프라인을 설계한다.

1️⃣ 보정 단계(Calibration Stage)

• 저해상도 깊이와 대응 RGB를 입력으로, UNet‑like 구조와 Vision‑Transformer 기반 이미지 인코더를 결합해 ‘거친’ 깊이 잠재(ẑ₀)와 픽셀별 불확실성(σ̂₀)을 동시에 예측한다.
• 손실은 (i) NLL 손실을 통해 불확실성이 잘 보정되도록 하고, (ii) L1 손실을 통해 VAE 디코더의 복원 오류를 보완한다.
• 이렇게 얻은 σ̂₀는 이후 시점 선택에 직접 사용된다.

2️⃣ 샘플링 단계(Sampling Stage)

• 전방 확산의 근사 분포 p̂ₜ = N(√ᾱₜ ẑ₀, ᾱₜ σ̂₀² + 1‑ᾱₜ I) 를 정의하고, 2‑Wasserstein 거리와 ᾱₜ의 곱을 최적화하는 H(ᾱₜ)=√ᾱₜ·exp(‑λ W(p̂ₜ,pₜ)) 가 유일한 전역 최대값을 갖는다는 정리를 제시한다.
• 실제 구현에서는 정답이 없으므로 ω≈σ̄₀(σ̂₀의 평균) 로 근사하고, ᾱₜ = τ·σ̄₀ (τ는 하이퍼파라미터) 로 시점을 결정한다. 이는 “입력 내용이 과도히 사라지지 않으면서도 충분히 노이즈가 섞여 사전 학습된 확산 모델의 사후분포에 진입”하도록 보장한다.
• 선택된 시점에 맞춰 노이즈를 주입하고, 사전 학습된 Marigold‑LCM(DDPM을 LCM으로 distill) 모델에 입력한다. LCM은 한 스텝에 거의 완전한 디노이징을 수행해 최종 고해상도 깊이 d̂ 를 출력한다.

이론적·실험적 기여

• 이론: 가우시안 수축성에 기반한 최적 시점 존재성을 정리(Prop. 4.1)로 증명하고, 불확실성 기반 근사식을 제시해 실시간 추론이 가능하도록 설계했다.
• 알고리즘: 불확실성‑조건부 노이즈 주입이라는 새로운 적응형 샘플링 전략을 도입, 기존 “노이즈 스케줄 고정 → 역확산” 방식보다 훨씬 유연하고 강인하다.
• 성능: 실세계 TOF·RGB‑D 데이터와 합성 베이스라인에서 제로‑샷 설정으로 RMSE·MAE 모두 현존 최고 수준을 기록했으며, 특히 4×, 8×, 16× 업샘플링 등 다양한 스케일에서도 일관된 우수성을 보였다.

한계 및 향후 과제

• 현재는 사전 학습된 깊이 확산 모델(Marigold‑LCM)에 크게 의존한다. 다른 도메인(예: 의료·산업용 라이다)에서는 별도 사전 학습이 필요할 수 있다.
• 불확실성 추정이 정확하지 않을 경우 시점 선택이 부적절해져 복원 품질이 저하될 가능성이 있다. 보다 정교한 베이지안 추정이나 메타‑러닝 기반 보정이 연구될 여지가 있다.
• 연산량은 두 단계(보정 + 샘플링)와 대형 VAE/Transformer 구조 때문에 고성능 GPU가 필요하다. 경량화 모델이나 지연 최소화 기법이 실시간 로봇·AR/VR 적용에 필수적이다.

전반적으로 AdaDS는 “확산 모델을 사전 학습된 고품질 깊이 분포의 사전으로 활용하고, 입력‑불확실성에 따라 역확산 시작점을 자동 조정한다”는 혁신적인 패러다임을 제시한다. 이는 DSR 분야에서 일반화·강인성을 크게 향상시키며, 향후 다양한 센서·시나리오에 확산 기반 복원 기술을 적용하는 데 중요한 이정표가 될 것으로 기대된다.

**