노이즈 주파수 제어 확산 샘플링을 이용한 이미지 복원

초록

본 논문은 확산 모델 기반 Plug‑and‑Play 복원에서 발생하는 저주파 잡음이 데이터 충실도를 저하시키는 문제를 해결하고자, 저주파 성분을 점진적으로 억제하고 고주파 성분은 유지하는 Fourier‑도메인 필터를 도입한 Noise Frequency‑Controlled Diffusion Sampling(NFCDS) 방식을 제안한다. NFCDS는 기존 확산 샘플링 파이프라인에 별도 학습 없이 플러그인 형태로 삽입될 수 있으며, 초고해상도·노이즈 제거 등 다양한 제로샷 복원 작업에서 PSNR·SSIM을 크게 향상시키면서 LPIPS 등 지각 품질도 유지한다.

상세 분석

NFCDS의 핵심 아이디어는 “노이즈의 주파수 성분이 복원 품질에 미치는 상반된 역할”을 정량적으로 분석하고, 이를 기반으로 역확산 과정에서 주입되는 가우시안 잡음의 스펙트럼을 제어하는 것이다. 논문은 먼저 이미지가 저주파(전역 구조)와 고주파(세부 텍스처)로 구성된다는 사실을 강조하고, 확산 샘플링 단계에서 저주파 잡음이 구조를 흐리게 만들어 데이터 충실도를 감소시키는 반면, 고주파 잡음은 세부 디테일을 생성해 지각적 품질을 높인다는 실험적 증거를 제시한다. 이를 수식적으로는 역확산 업데이트 식을 푸리에 변환 후 저·고주파 성분으로 분리하고, 각각에 대한 노이즈 항 ϵ̄_LF와 ϵ̄_HF를 명시한다.

그 다음, 복원 상황에서는 관측 y가 이미 저주파 정보를 크게 포함하고 있기 때문에 저주파 잡음은 불필요한 무작위 변동을 초래한다. 반면 고주파 잡음은 손실된 세부 정보를 보완한다. 따라서 NFCDS는 매 샘플링 스텝마다 ϵ̄_t‑1을 푸리에 변환한 뒤, 소프트 스레시홀드 마스크 M(t)=1/(1+exp