BIR 어댑터: 눈에 보이지 않는 이미지 복원을 위한 효율적인 디퓨전 어댑터

초록

BIR‑Adapter는 대규모 사전 학습된 디퓨전 모델의 내부 표현을 그대로 활용해, 별도의 특징 추출기 없이 블라인드 이미지 복원을 수행한다. 가벼운 복원‑어텐션 어댑터와 샘플링 가이드 메커니즘을 도입해 학습 파라미터를 최대 36배 줄이면서도 최신 방법들과 동등하거나 우수한 성능을 달성한다.

상세 분석

본 논문은 블라인드 이미지 복원(blind image restoration)이라는 매우 어려운 문제에 대해, 기존의 “대규모 사전 학습된 디퓨전 모델 + 별도 컨트롤 네트워크” 패러다임을 근본적으로 재고한다. 저자들은 먼저 대규모 라텐트 디퓨전 모델(LDM)이 다양한 손상(다운샘플링, 가우시안 블러, 화이트 노이즈, JPEG 압축 등)에도 불구하고 내부 특징 표현이 일정 수준 이상 유지된다는 실험적 근거를 제시한다(코사인 유사도 분석). 이 관찰은 “외부 특징 추출기 없이도 디퓨전 모델 자체가 충분히 복원에 필요한 정보를 제공한다”는 가설을 뒷받침한다.

BIR‑Adapter는 이 가설을 구현하기 위해 두 가지 핵심 설계를 제안한다. 첫 번째는 Restoring Attention이라 불리는 자체‑참조 어텐션 모듈이다. 기존 디퓨전 U‑Net의 각 레이어에서, 현재 디퓨전 단계(t)의 클린 라텐트 특징 zₖᵗ를 “쿼리”로 사용하고, 동일 레이어에 입력된 손상된 라텐트 \tilde{z}ₖ를 “키·밸류”로 활용한다. 이렇게 하면 손상된 특징이 클린 특징과의 유사성을 기반으로 재구성되며, 별도의 파라미터가 거의 필요하지 않다. 두 번째는 Sampling Guidance 메커니즘이다. 디퓨전 역전 과정에서 저주파 영역에서 발생하기 쉬운 “환각(hallucination)”을 억제하기 위해, 어텐션 출력에 가중치를 부여하고, 일정 단계에서 손상된 라텐트와 현재 추정 라텐트 사이의 L2 거리 손실을 추가한다. 이로써 복원 과정이 보다 안정적이고 일관되게 된다.

파라미터 효율성 측면에서, BIR‑Adapter는 전체 디퓨전 모델을 고정(frozen)하고 어댑터와 가이드 파라미터만 학습한다. 실험 결과, 기존 ControlNet 기반 방법이 수백만 개의 파라미터를 추가 학습하는 반면, BIR‑Adapter는 평균 0.1 M 파라미터(최대 36배 감소)만으로도 동등하거나 더 높은 PSNR/SSIM을 기록한다. 또한, 어댑터 구조가 플러그‑앤‑플레이 형태이기 때문에, 사전 학습된 SR‑전용 디퓨전 모델에 손쉽게 적용해 블러·노이즈·압축 등 복합 손상을 동시에 처리할 수 있음을 보여준다.

비교 대상으로는 ControlNet, DiBIR, StableSR 등 최신 디퓨전 기반 복원 모델이 포함되었으며, BIR‑Adapter는 특히 실세계 데이터셋(DIV2K‑Real, RealSR 등)에서 눈에 띄는 품질 향상을 보였다. Ablation 연구에서는 (1) 복원‑어텐션 없이 단순 컨트롤 어댑터만 사용했을 때 성능 저하, (2) 가이드 메커니즘을 제거했을 때 환각 현상이 증가함을 확인한다.

한계점으로는 (i) 어텐션이 레이어마다 독립적으로 작동하므로 전역적인 구조적 일관성을 완전히 보장하지 못한다는 점, (ii) 현재는 라텐트 공간에서만 작동하므로 고해상도 이미지에 대한 메모리 부담이 존재한다는 점을 들 수 있다. 향후 연구에서는 멀티‑스케일 어텐션 통합, 동적 타임스텝 조절, 그리고 텍스트 프롬프트와의 연계 등을 통해 더욱 일반화된 복원 프레임워크로 확장할 여지가 있다.