대형 이미지용 향상된 초해상도 CNN

초록

본 논문은 대형 이미지를 작은 패치로 나누어 초해상도(SISR)를 수행한 뒤 다시 합칠 때 발생하는 경계선(컷팅 라인) 문제를 해결하고자, 기존 SRCNN 구조에 대칭 패딩, 랜덤 학습, 잔차 학습을 도입한 새로운 아키텍처를 제안한다. 제안 모델은 다양한 벤치마크와 실험을 통해 최신 방법들보다 우수한 PSNR/SSIM 성능을 보이며, 특히 대형 이미지 처리 시 시각적 일관성을 크게 향상시킨다.

상세 분석

본 연구는 실생활에서 흔히 겪는 “큰 이미지를 작은 조각으로 나누어 초해상도 처리를 한 뒤 다시 합칠 때 발생하는 경계선 현상”이라는 실용적 문제에 초점을 맞추었다. 기존 SRCNN(이미지 초해상도 분야의 초기 CNN 기반 모델)는 작은 입력 크기에 최적화돼 있어, 대형 이미지를 그대로 입력하면 메모리와 연산량이 급증하고, 패치 단위 처리 후 재조합 시 패치 경계가 눈에 띄는 artefact을 만든다. 이를 해결하기 위해 저자는 세 가지 핵심 설계를 도입했다. 첫째, ‘대칭 패딩(Symmetric padding)’은 각 컨볼루션 층에서 입력 가장자리에 대칭 복사를 적용해 출력 크기를 입력과 동일하게 유지한다. 이는 패치 간 경계에서 발생하는 정보 손실을 최소화하고, 재조합 시 경계선이 자연스럽게 이어지도록 돕는다. 둘째, ‘랜덤 학습(Random learning)’은 학습 단계에서 패치를 무작위로 추출·배치에 포함시키는 전략으로, 모델이 다양한 위치와 주변 컨텍스트를 경험하게 하여 일반화 능력을 강화한다. 이는 특히 대형 이미지의 다양한 텍스처와 구조를 포괄적으로 학습하도록 유도한다. 셋째, ‘잔차 학습(Residual learning)’은 입력 이미지와 고해상도 정답 사이의 차이(잔차)를 직접 예측하도록 네트워크를 설계함으로써, 학습이 더 빠르고 안정적으로 수렴하도록 만든다. 잔차 학습은 고주파 디테일 복원에 효과적이며, 기존 SRCNN가 직접 고해상도 이미지를 출력하는 방식보다 파라미터 효율성이 높다.
실험 부분에서는 Set5, Set14, BSD100, Urban100 등 표준 SISR 데이터셋뿐 아니라, 실제 촬영된 고해상도 사진을 패치화한 대형 이미지 테스트셋을 추가로 구성했다. 제안 모델은 PSNR 기준으로 기존 SRCNN, ESPCN, VDSR, SRResNet 등에 비해 평균 0.3~0.7dB 향상을 기록했으며, SSIM에서도 유의미한 개선을 보였다. 특히 대형 이미지 재조합 실험에서 시각적 경계선이 거의 사라진 것을 정량적 Edge Consistency Metric과 주관적 사용자 설문을 통해 입증했다.
한계점으로는 대칭 패딩이 이미지 가장자리에서 약간의 복제 artefact을 유발할 가능성이 있으며, 랜덤 학습이 학습 시간에 변동성을 초래한다는 점을 들 수 있다. 또한, 제안 모델은 기본 SRCNN 구조를 기반으로 하므로, 최신 Transformer 기반 초해상도 모델에 비해 연산 효율성에서 뒤처질 수 있다. 향후 연구에서는 대칭 패딩을 가변형으로 전환하거나, 경계선 억제 목적의 손실 함수를 추가하는 방안을 모색할 수 있다.