대칭 유넷으로 구현한 간결하고 강력한 전천후 이미지 복원

초록

본 논문은 대칭 구조를 갖는 U‑Net( SymUNet )이 다양한 손상 정보를 자체적으로 보존하고 전달함으로써 복잡한 프롬프트나 전문가 모듈 없이도 전천후 이미지 복원에서 최첨단 성능을 달성한다는 점을 제시한다. 또한 고정된 CLIP 특징을 교차‑주의 방식으로 주입한 SE‑SymUNet 을 통해 의미적 사전지식을 간단히 보강함으로써 추가적인 정확도 향상을 얻는다. 실험 결과, 두 모델은 파라미터와 연산량 면에서 기존 최첨단 방법보다 우수하며, 다양한 복원 작업(노이즈 제거, 안개 제거, 비 제거, 흐림 복원, 저조도 강화)에서 일관된 개선을 보인다.

상세 분석

본 연구는 전천후 이미지 복원에서 “비대칭” 설계가 근본적인 병목임을 지적한다. 기존 Restormer, PromptIR, DFPIR 등은 인코더‑디코더 간 채널 수가 불일치하고, 디코더 단계에서 스킵 연결을 통해 급격히 채널이 두 배가 되는 구조를 채택한다. 이러한 설계는 인코더가 추출한 손상‑특이적 특징이 디코더로 전달되는 과정에서 왜곡·희석되는 현상을 야기한다. 저자들은 인코더와 디코더가 동일한 블록 구성을 공유하고, 각 스케일에서 채널 차원을 일정하게 유지하는 “대칭 U‑Net”을 제안한다. 이 구조는 (1) 스킵 연결을 단순한 덧셈으로 처리해 정보 흐름을 직선화하고, (2) 디코더가 과도하게 복잡해지는 것을 방지해 파라미터 효율성을 높이며, (3) 손상‑전달 특성을 보존함으로써 학습 안정성을 강화한다.

SymUNet 은 Restormer 의 효율적인 트랜스포머 블록을 인코더·디코더·보틀넥에 동일하게 적용하고, 다운·업샘플링 연산만으로 다중 스케일을 연결한다. 최종 출력은 디코더 최하위 레이어의 특징에 3×3 컨볼루션을 적용한 뒤 입력 이미지와 잔차 합산 방식으로 복원한다. 이러한 설계는 파라미터 수와 FLOPs 면에서 기존 복합 모델에 비해 현저히 낮으며, PSNR‑FLOPs 곡선에서 최상위 좌측 사분면에 위치한다.

SE‑SymUNet 은 위 구조에 의미적 강화 모듈을 추가한다. 고정된 CLIP ViT‑L/14 로부터 추출한 패치 토큰 Z 를 초기 의미 컨텍스트로 사용하고, 각 디코더 단계에서 이미지 특징 f 와 Z 사이에 양방향 교차‑주의를 적용한다. 구체적으로 f 에는 Z 로부터 얻은 어텐션 가중치를 더해 의미 정보를 주입하고, 동시에 Z 는 f 로부터 업데이트되어 점진적으로 이미지 내용에 맞춰진 의미 표현으로 진화한다. 이 피드백 루프는 복원 과정에서 손상 유형에 대한 고수준 힌트를 제공하면서도 추가 파라미터는 최소화한다.

실험에서는 3‑task(노이즈, 안개, 비)와 5‑task(노이즈, 안개, 비, 흐림, 저조도) 벤치마크를 사용해 SymUNet 이 기존 MoE, 프롬프트 기반, 확산 모델 기반 방법들을 모두 앞선다. 특히 파라미터가 가장 적은 AirNet 을 제외하고는 모든 비교 모델보다 높은 PSNR/SSIM 을 기록한다. SE‑SymUNet 은 의미적 주입 덕분에 평균 0.1~0.2dB 수준의 추가 향상을 보이며, 복잡도 상승이 미미함을 확인한다.

핵심 인사이트는 (1) 손상‑전달 특징은 충분히 설계된 인코더만으로도 충분히 학습 가능하며, (2) 대칭 구조가 이러한 특징을 손실 없이 디코더에 전달한다는 점, (3) 외부 사전지식은 복잡한 프롬프트나 전문가 라우팅 없이도 간단한 교차‑주의 형태로 효율적으로 활용될 수 있다는 점이다. 이로써 전천후 복원 분야에서 “복잡성 감소 → 성능 향상”이라는 패러다임 전환을 제시한다.