고화질과 현실감을 잇는 제어 가능한 일회 확산 초해상도

초록

기존 일회 확산 기반 초해상도 방법의 세 가지 한계(저화질 정보 손실, 생성 능력의 지역 비판별성 부족, 텍스트-의미 영역 불일치)를 해결하는 CODSR을 제안한다. LQ 정보를 활용한 특징 변조, 지역 적응형 생성 사전 활성화, 텍스트 매칭 가이던스 전략을 통해 우수한 지각 품질과 경쟁력 있는 정확도를 단일 추론 단계로 달성한다.

상세 분석

본 논문에서 제안하는 CODSR(Controllable One-Step Diffusion network for Super-Resolution)은 확산 모델 기반 초해상도의 핵심 난제인 ‘정확도(Fidelity)‘와 ‘현실감(Perceptual Quality)‘의 트레이드오프를 효율적인 일회 생성 단계에서 극복하고자 한 혁신적인 연구이다. 기존 일회 생성 방식은 계산 효율성을 얻은 대신, VAE 압축 인코딩 과정에서 발생하는 저화질(LQ) 입력의 세부 정보 손실, 모든 영역에 동일하게 적용되어 텍스처 영역의 디테일은 부족하고 평탄한 영역에는 과도한 아티팩트를 유발하는 생성 사전(Generative Prior)의 비판별적 사용, 그리고 텍스트 프롬프트의 의미가 이미지의 해당 영역과 공간적으로 정렬되지 않는 ‘텍스트 불일치(Text Misalignment)’ 문제에 직면해 있었다.

CODSR은 이러한 문제를 체계적으로 해결하기 위해 세 가지 핵심 모듈을 설계하였다. 첫째, ‘LQ-가이드 특징 변조 모듈(LQFM)‘은 VAE에 의해 압축되기 전의 원본 저화질 픽셀 정보를 활용한다. 이를 시간-의식적 공간 특징 변환(SFT) 계층을 통해 U-Net의 중간 특징에 변조 신호로 주입함으로써, 압축 과정에서 손실된 고주파 세부 정보를 보존하고 정확한 구조 복원을 가능하게 한다. 이는 확산 과정의 조건부 정보 채널을 풍부하게 하여 정확도(fidelity)를 획기적으로 향상시킨다.

둘째, ‘지역 적응형 생성 사전 활성화(RGPA)’ 방법은 생성 능력의 지역별 차별화된 적용을 구현한다. Sobel 연산자를 통해 계산한 LQ 이미지의 그래디언트 맵을 기반으로, 고주파(텍스처가 풍부한) 영역에는 더 많은 가우시안 노이즈를, 저주파(평탄한) 영역에는 적은 노이즈를 적응적으로 추가한다. 이는 사전 학습된 확산 모델이 노이즈로부터 고주파 정보를 효과적으로 생성하는 본래의 역과정(Denoising Mode)에 더 부합하도록 하여, 모델의 생성 잠재력을 지역에 따라 최적화로 발현시킨다. 결과적으로 텍스처 영역의 디테일은 풍부해지고 평탄한 영역의 구조적 충실도는 유지되는 현실감 있는 결과를 도출한다.

셋째, ‘텍스트 매칭 가이던스(TMG)’ 전략은 텍스트 조건화의 정확성을 높인다. Grounded-SAM2를 활용하여 텍스트 프롬프트의 명사(예: “teddy”, “floor”)에 해당하는 정확한 이진 영역 마스크를 생성한다. 이 마스크는 U-Net의 크로스-어텐션 레이어에서 텍스트 임베딩과 이미지 특징 간의 상호작용이 발생해야 할 공간적 범위를 명시적으로 제한하는 가이드 역할을 한다. 이를 통해 텍스트 의미가 이미지의 올바른 위치에만 영향을 미치게 되어 의미론적 정합성을 보장하고, 텍스트 불일치 문제를 해결한다.

이 세 가지 기술은 상호 보완적으로 작동하여, CODSR이 단일 네트워크 추론으로도 다단계 확산 모델에 버금가는 높은 현실감과 기존 일회 생성 방법 대비 우수한 정확도를 동시에 달성할 수 있는 기반을 마련했다. 특히 훈련 시점(timestep)을 조절함으로써 정확도와 생성 품질 간의 트레이드오프를 유연하게 제어할 수 있는 점은 실용적 가치가 크다.