바이너리 데모이어: 모아레 인식 이진화 이미지 복원

초록

본 논문은 1비트 가중치와 활성화를 사용하는 바이너리 네트워크를 이미지 데모이어(모아레) 제거에 적용한다. 모아레의 고주파·방향성 특성을 반영한 모아레‑인식 이진 게이트(MABG)와, 채널 차원 불일치를 효율적으로 정렬하는 셔플‑그룹 잔차 어댑터(SGRA)를 설계하여, 기존 바이너리 압축 방법보다 높은 복원 품질을 달성한다. 네 개의 벤치마크에서 파라미터·연산량을 90% 이상 감소시키면서 풀‑정밀 모델에 근접한 PSNR/SSIM을 기록한다.

상세 분석

BinaryDemoire는 이미지 데모이어 복원이라는 특수한 저수준 비전 과제에 바이너리화 기법을 최초로 적용한 점에서 의미가 크다. 기존 바이너리 네트워크는 주로 분류와 같은 전역적인 특징에 초점을 맞추어, 입력에 독립적인 파라미터 공유와 단순한 양자화를 사용한다. 그러나 모아레는 고주파, 방향성, 다중 스케일의 비정상적인 패턴으로, 이러한 균일한 양자화는 중요한 주파수 정보를 크게 손실시킨다. 이를 해결하기 위해 저자는 두 가지 핵심 모듈을 도입한다.

첫 번째인 Moiré‑Aware Binary Gate(MABG)는 입력 피처의 주파수 특성을 파악하기 위해 단일 레벨 이산 웨이브렛 변환(DWT)을 수행한다. HH, HL, LH, LL 네 개의 서브밴드에서 평균 절대값을 추출해 고주파 비율(r_hf)과 방향성 지표(s)를 계산한다. 동시에 채널별 평균, 표준편차, 평균 절대값 등 통계량을 구해 통합된 특징 벡터를 만든다. 이 벡터는 공유 Fully‑Connected 레이어와 시그모이드 함수를 거쳐 채널별 게이트 β를 출력한다. β는 이진화된 활성화와 가중치에 곱해져, 고주파에 민감한 채널은 더 큰 가중치를 부여받아 정보 손실을 최소화한다. 이렇게 입력‑조건부 게이팅을 적용함으로써, 이진화 과정에서 발생할 수 있는 ‘모아레‑민감’ 양자화 오류를 효과적으로 완화한다.

두 번째 모듈인 Shuffle‑Grouped Residual Adapter(SGRA)는 다중 스케일 인코더‑디코더 구조에서 흔히 발생하는 채널 차원 불일치를 경량화된 잔차 경로로 해결한다. SGRA는 1×1 그룹 컨볼루션을 사용해 구조적 희소성을 유지하면서, 채널을 여러 그룹으로 나누어 각각 별도 투사(projection)를 수행한다. 이후 채널 셔플링과 인터리브된 믹싱 연산을 적용해 그룹 간 정보 교환을 촉진한다. 이 설계는 전통적인 풀‑정밀 잔차 브랜치를 대체하면서도 연산량과 파라미터를 최소화한다.

바이너리화 자체는 Sign 함수와 STE(직선 근사) 기반 역전파를 사용한다. 활성화 양자화에서는 학습 가능한 스케일 β와 부드러운 tanh(βx) 역전파를 도입해 그래디언트 흐름을 안정화하고, 가중치 양자화에서는 클리핑된 STE를 적용한다. 전체 네트워크는 ESDNet을 백본으로 하여, 첫 번째와 마지막 컨볼루션 레이어만 풀‑정밀로 유지하고 나머지는 위의 두 모듈을 포함한 바이너리 블록으로 교체한다.

실험에서는 UHDM, TIP, DMOIR 등 네 개의 공개 데이터셋에서 기존 바이너리화 방법(BBCU, BiSRNet, Biper 등)과 풀‑정밀 최신 모델(ESDNet)과 비교한다. PSNR 기준에서 평균 0.71.0dB 향상, SSIM에서도 0.020.04 상승을 기록했으며, 파라미터는 95% 이상, 연산량은 90% 이상 감소했다. 시각적 결과에서도 모아레 패턴을 정밀하게 제거하면서 텍스처 디테일을 보존한다는 점이 강조된다.

한계점으로는 MABG가 모든 레이어에 적용될 경우 연산 오버헤드가 증가할 수 있으며, 현재는 핵심 레이어에만 선택적으로 배치한다는 점이 있다. 또한, 웨이브렛 기반 주파수 추출이 이미지 해상도에 따라 비용이 변동될 수 있어, 초고해상도 실시간 응용에서는 추가 최적화가 필요할 것으로 보인다.

전반적으로 BinaryDemoire는 모아레와 같은 고주파 구조적 잡음에 특화된 바이너리 네트워크 설계 원칙을 제시함으로써, 경량화와 복원 품질 사이의 트레이드오프를 크게 개선한다.