다중 레벨 웨이브렛 CNN으로 구현하는 효율적인 이미지 복원과 분류

초록

본 논문은 전통적인 풀링 대신 이산 웨이브렛 변환(DWT)을 이용해 피처 맵을 다운샘플링하고, 역웨이브렛 변환(IWT)으로 복원하는 다중 레벨 웨이브렛 CNN(MWCNN)을 제안한다. U‑Net 구조에 DWT/IWT를 삽입해 receptive field를 크게 늘리면서도 정보 손실을 최소화한다. 이미지 디노이징, 초고해상도 복원, JPEG 아티팩트 제거 및 이미지 분류 등 다양한 비전 과제에서 기존 최첨단 방법들을 능가하는 성능을 보이며, 연산 효율성도 유지한다.

상세 분석

MWCNN의 핵심 아이디어는 풀링을 대체하는 다운샘플링 연산으로 이산 웨이브렛 변환(DWT)을 활용한다는 점이다. Haar 웨이브렛을 기반으로 4개의 고정 필터(LL, LH, HL, HH)를 stride‑2 컨볼루션 형태로 적용하면, 입력 피처 맵을 2배 축소하면서도 각 서브밴드에 고주파·저주파 정보를 동시에 보존한다. 이 과정은 선형이면서도 역변환 가능한 구조이므로, 역웨이브렛 변환(IWT)으로 원본 해상도로 복원할 때 정보 손실이 전혀 발생하지 않는다. 기존 풀링이 평균·최대값을 취해 세부 정보를 소실하는 반면, DWT는 시간‑주파수 영역에서의 로컬 정보를 유지하므로 텍스처와 에지 보존에 유리하다.

논문은 DWT/IWT를 U‑Net의 인코더‑디코더 구조에 삽입한다. 인코더 단계에서는 DWT를 통해 4개의 서브밴드로 분해하고, 각 서브밴드에 3‑layer FCN 블록을 적용해 비선형 특성을 학습한다. 디코더 단계에서는 IWT를 사용해 서브밴드를 다시 결합하고, 스킵 연결을 통해 저수준 디테일을 고수준 의미와 융합한다. 이렇게 다중 레벨(2~3레벨) 웨이브렛 피라미드를 구성함으로써 receptive field가 기하급수적으로 확대되면서도 파라미터 수와 FLOPs는 크게 증가하지 않는다.

또한 저자는 dilated convolution과 평균 풀링을 MWCNN과 수학적으로 연결한다. Dilated convolution은 고정된 “구멍”을 삽입해 샘플링 간격을 늘리지만, 그 결과 그리딩 효과가 발생한다. 반면 DWT는 고정된 필터를 사용해 격자 간격을 2배로 늘리면서도 모든 픽셀을 균등하게 포함하므로 그리딩 현상이 사라진다. 평균 풀링은 DWT의 LL 서브밴드와 유사하지만, DWT는 추가적인 고주파 서브밴드(LH, HL, HH)를 제공해 더 풍부한 특징을 학습한다.

실험에서는 4가지 주요 태스크에 대해 광범위한 벤치마크를 수행한다. 이미지 디노이징에서는 기존 DnCNN·MemNet 대비 PSNR/SSIM이 평균 0.20.3dB 향상되었으며, 초고해상도(SR)에서는 4배 확대 시 Set5/Set14에서 최고 수준의 PSNR를 기록했다. JPEG 아티팩트 제거에서도 비슷한 수준의 개선을 보였고, ImageNet 분류에서는 풀링 대신 DWT를 적용했을 때 Top‑1 정확도가 약 0.4% 상승하였다. 연산 속도는 GPU 환경에서 기존 대형 모델(DRRN·MemNet)보다 23배 빠르면서도, 라플라시안 피라미드 기반 모델(LapSRN)보다 약간 느리지만 훨씬 큰 receptive field와 높은 품질을 제공한다.

이러한 결과는 MWCNN이 “풀링 없이도 효율적인 다운샘플링”을 구현함으로써, 저해상도에서 고해상도로 복원할 때 필요한 전역 컨텍스트를 확보하면서도 세부 디테일을 보존한다는 점을 입증한다. 또한 DWT가 고정된 선형 연산이므로 학습 가능한 파라미터와는 독립적으로 작동해, 다양한 네트워크 아키텍처에 손쉽게 플러그인될 수 있다. 다만 현재는 Haar 웨이브렛에 국한되어 있으며, 보다 복잡한 바이오르소날 웨이브렛이나 학습 가능한 필터를 도입하면 추가적인 성능 향상이 기대된다.