소금과 후추 잡음 제거를 위한 비국소 스위칭 필터와 CNN 결합 방법

초록

본 논문은 고밀도 소금·후추 잡음에 강인한 이미지 복원을 위해 비국소 스위칭 필터(NLSF)와 심층 합성곱 신경망(CNN)을 결합한 NLSF‑CNN을 제안한다. NLSF가 잡음 픽셀을 비국소 평균으로 사전 정제하고, 정제된 패치를 CNN에 학습시켜 최종 복원을 수행한다. 실험 결과, 제한된 학습 데이터(91장)만으로도 기존 최첨단 방법들을 PSNR 기준으로 3~7dB 이상 능가함을 보였다.

상세 분석

본 연구는 소금·후추 잡음, 특히 70%에 달하는 고밀도 상황에서 기존 비선형 필터가 갖는 지역 정보 의존성의 한계를 극복하고자 비국소 스위칭 필터(NLSF)와 심층 합성곱 신경망(CNN)을 단계적으로 결합한 새로운 프레임워크를 설계하였다. NLSF는 먼저 잡음 픽셀을 탐지하고, 각 잡음 픽셀 주변의 R개의 비국소 패치를 추출한다. 이때 각 패치의 중앙값을 가중합으로 사용하며, 가중치는 패치 간 유클리드 거리 기반 가우시안 커널(σ)으로 정의된다. 거리 계산 시 잡음 픽셀을 임시 평균값으로 대체함으로써 거리 추정의 왜곡을 최소화한다. 이러한 비국소 평균은 전통적인 중앙값 필터가 갖는 국소성 한계를 넘어, 넓은 영역에서 유사한 구조를 찾아 잡음 영향을 효과적으로 억제한다.

전처리된 이미지가 얻어지면, 이를 64×64 크기의 겹치는 패치로 분할하여 3‑계층 CNN에 입력한다. 첫 번째 계층은 입력 패치를 n1=64개의 필터(f1=9)와 편향으로 변환하여 고차원 특징 맵을 생성하고, ReLU 활성화로 비선형성을 부여한다. 두 번째 계층은 1×1 컨볼루션을 이용해 채널 차원을 압축하면서도 복합적인 비선형 매핑을 수행한다(n2=32). 마지막 계층은 f3=5 크기의 필터를 사용해 복원된 패치를 재구성한다. 손실 함수는 평균 제곱 오차(MSE)를 기반으로 한 PSNR 최적화이며, 학습은 소량의 91장 이미지(인공 잡음 포함)만으로 진행한다.

실험에서는 표준 11장 이미지와 BSD300(300장) 데이터셋을 30%, 50%, 70% 잡음 밀도에서 평가하였다. 결과는 NLSF‑CNN이 기존 비선형 필터(DBA, NASNLM, PARIGI)와 MLP 기반 복원(NLSF‑MLP)보다 일관되게 높은 PSNR를 기록했으며, 특히 70% 잡음에서 평균 3~6dB의 향상을 보였다. 이는 NLSF가 잡음이 심한 상황에서도 유용한 비국소 정보를 제공하고, CNN이 이러한 정제된 입력으로부터 복잡한 비선형 관계를 효과적으로 학습함을 의미한다. 또한, 제한된 학습 데이터에도 불구하고 MLP(수십만 이미지 학습)보다 우수한 성능을 나타내어 데이터 효율성 측면에서도 강점을 가진다.

하지만 몇 가지 한계도 존재한다. 첫째, NLSF 단계에서 패치 크기(L=3 또는 5)를 잡음 밀도에 따라 수동으로 선택해야 하며, 자동화된 파라미터 최적화가 부족하다. 둘째, 현재 구현은 회색조 이미지에 국한되어 컬러 이미지에 대한 확장성이 검증되지 않았다. 셋째, 비국소 가중합 계산은 패치 수 R과 거리 계산 비용에 따라 연산량이 급증할 수 있어 실시간 응용에 대한 효율성 검증이 필요하다. 향후 연구에서는 적응형 패치 크기 선택, 컬러 채널 공동 처리, 그리고 경량화된 비국소 연산을 통한 실시간 구현을 모색할 수 있다.