효율적인 초고해상도 구현을 위한 특징‑도메인 적응형 대조 손실

초록

본 논문은 기존 교사‑학생 지식 증류에서 특징 맵 간 유클리드 거리 손실이 전달 효율을 저해한다는 한계를 지적하고, 특징‑도메인 대조 손실과 학습 패치 조건에 따른 적응형 증류를 결합한 FACD(FEature‑domain Adaptive Contrastive Distillation)를 제안한다. FACD는 경량 학생 네트워크가 교사의 풍부한 표현을 보다 효과적으로 학습하도록 유도하며, EDVR‑기반 경량 잔차 네트워크와 RCAN‑경량 변형에 적용했을 때 모든 벤치마크와 배율에서 평균 PSNR를 0.07 dB 이상 향상시킨다.

상세 분석

단일 이미지 초고해상도(SISR)는 저해상도(LR) 이미지를 고해상도(HR)로 복원하는 작업으로, 최근에는 깊고 복잡한 CNN 구조가 높은 PSNR을 달성하지만 파라미터 수와 연산량이 급증해 모바일·임베디드 환경에 부적합하다. 이를 해결하기 위해 지식 증류(KD)가 널리 연구되었으며, 교사 모델의 출력(logits)이나 중간 특징을 학생에게 전달한다. 기존 특징 기반 증류(FD)는 교사와 학생의 중간 특징 맵 사이의 유클리드 거리(L2 손실)를 최소화하는 방식으로, 직관적이지만 두 모델의 표현 차이를 정량화하는 데 한계가 있다. L2 손실은 절대적인 차이에만 민감하고, 특징 간의 구조적·상대적 관계(예: 동일 클래스 내 클러스터링, 클래스 간 구분)를 반영하지 못한다.

대조 학습(Contrastive Learning)은 같은 샘플의 서로 다른 변형을 ‘양성(positive)’으로, 다른 샘플을 ‘음성(negative)’으로 정의해 임베딩 공간에서 양성 간 거리를 최소화하고 음성 간 거리를 최대화한다. 이 원리를 증류에 적용하면, 학생이 교사의 특징을 단순히 복제하는 것이 아니라, 교사의 특징 공간에서 의미 있는 구조를 재현하도록 유도할 수 있다. 논문은 이를 ‘특징‑도메인 대조 손실’로 구현했으며, 교사의 특징을 기준으로 학생 특징을 양성(교사와 동일 위치·채널)과 음성(다른 위치·채널)으로 구분한다. 대조 손실은 InfoNCE 형태로 정의되어, 학생 특징이 교사 특징과 높은 상관을 유지하면서도 다른 위치·채널과는 구별되도록 학습한다.

또한, 모든 학습 패치에 동일한 가중치로 증류를 적용하면, 교사의 고품질 정보가 부족한 저해상도 패치나 잡음이 많은 영역에서 오히려 학습을 방해할 수 있다. 이를 보완하기 위해 ‘적응형 증류’를 도입했는데, 패치의 복잡도·에너지·텍스처 강도 등을 기반으로 증류 가중치를 동적으로 조정한다. 구체적으로, 교사의 특징 맵 평균 에너지와 학생의 현재 손실 값을 이용해 스칼라 가중치 α를 계산하고, 최종 손실은 L2 손실·대조 손실·α·α의 가중합으로 구성한다. 이렇게 하면 교사가 유의미한 정보를 제공할 수 있는 상황에서만 강하게 증류가 이루어져, 학습 효율과 안정성이 동시에 향상된다.

실험에서는 두 가지 대표적인 경량 SISR 구조인 ‘Enhanced Deep Residual Network(EDRN)’와 ‘Residual Channel Attention Network(RCAN)’의 경량 변형에 FACD를 적용했다. PSNR와 SSIM을 주요 정량 지표로 사용했으며, DIV2K, Set5, Set14, B100, Urban100 등 5가지 데이터셋과 2×, 3×, 4× 배율을 모두 테스트했다. 결과는 기존 Euclidean 기반 FD 대비 평균 0.07 dB(최대 0.12 dB) PSNR 향상을 보였고, 시각적으로도 텍스처 복원과 경계 선명도가 개선되었다. Ablation study에서는 (1) 대조 손실만 적용했을 때와 (2) 적응형 가중치 없이 대조 손실만 적용했을 때의 차이를 분석했으며, 두 요소가 모두 결합될 때 가장 큰 성능 향상이 관찰되었다.

한계점으로는 대조 손실을 계산하기 위한 음성 샘플 선택이 무작위에 의존한다는 점과, 적응형 가중치 계산에 추가적인 연산 비용이 발생한다는 점을 들 수 있다. 또한, 0.07 dB라는 개선폭은 절대적으로 크지는 않지만, 경량 모델의 성능 한계에 가까운 영역에서 의미 있는 진전으로 평가된다. 향후 연구에서는 음성 샘플을 교사의 클래스 정보를 활용해 보다 정교하게 선정하거나, 메타러닝 기반 가중치 조정으로 증류 효율을 더욱 최적화할 여지가 있다.