데이터 기반 초해상도 모델의 양날 검: 모델 수준 적대적 공격

초록

AdvSR은 초해상도(SR) 모델의 가중치를 훈련 단계에서 악의적으로 조정해, 입력을 조작하지 않고도 다운스트림 분류기를 오분류하게 만드는 새로운 모델‑레벨 공격을 제안한다. SR 품질은 PSNR·SSIM 등 기존 지표에서 거의 손실이 없으며, 특히 SRCNN·EDSR·SwinIR에 적용했을 때 YOLOv11 기반 분류기에서 목표 클래스 오분류 성공률을 80% 이상 달성한다.

상세 분석

본 논문은 초해상도(SR) 모델이 이미지 파이프라인에서 전처리 단계로 널리 사용되는 현실을 출발점으로, 모델 자체에 적대적 행동을 내재시키는 새로운 위협 모델을 제시한다. 기존 연구는 입력 이미지에 노이즈를 추가하거나 백도어 트리거를 삽입하는 방식으로 SR 시스템을 공격했지만, AdvSR은 훈련 과정에서 손실 함수를 두 부분으로 구성한다. 첫 번째는 전통적인 L1·퍼셉추얼 손실을 이용한 재구성 손실(L_SR)로, 고해상도 복원을 유지한다. 두 번째는 목표 클래스와 소스 클래스를 조작한 교차 엔트로피 손실(L_AdvCE)로, 다운스트림 분류기 f_θ가 SR 출력 ˆx를 목표 클래스 t로 오분류하도록 유도한다. 두 손실 사이의 균형을 λ(또는 비율 r)로 조정함으로써 이미지 품질 저하와 공격 성공률 사이의 트레이드오프를 정량적으로 제어한다.

실험에서는 대표적인 세 가지 SR 아키텍처—CNN 기반 SRCNN, 잔차 네트워크 EDSR, 그리고 트랜스포머 기반 SwinIR—에 AdvSR을 적용하였다. 각 모델을 동일한 이미지넷 서브셋(20클래스)에서 훈련하고, YOLOv11을 다운스트림 분류기로 사용해 두 가지 시나리오(YOLO‑5, YOLO‑20)를 평가하였다. 결과는 다음과 같다.

1. 이미지 품질 측면에서 PSNR·SSIM·LPIPS 지표는 거의 변동이 없으며, 특히 SwinIR은 PSNR와 SSIM이 오히려 약간 향상되는 현상을 보였다. 이는 고용량 모델이 적은 λ 값에서도 재구성 손실을 충분히 만족시킬 수 있음을 의미한다.
2. 목표 클래스(전투기) 이미지를 트랙터 트레일러로 오분류시키는 Targeted‑ASR은 SRCNN 82%, EDSR 68%, SwinIR 80%에 달했으며, 비목표 클래스에 대한 정확도(NSA)는 97% 이상 유지되었다. 이는 공격이 선택적으로 소스 클래스만을 표적화하고, 전체 분류 성능을 크게 손상시키지 않음을 보여준다.
3. 분류 클래스가 20개로 늘어난 YOLO‑20에서는 Targeted‑ASR이 감소하고 Untargeted‑ASR이 증가하는 현상이 관찰되었다. 이는 복잡한 분류기가 보다 강인하게 학습되면서 공격이 정확한 목표 클래스로 집중되지 못하고, 보다 넓은 오분류 영역으로 퍼지는 경향을 나타낸다. 동시에 이미지 품질 저하가 다소 커져 PSNR가 36 dB 감소하고 SSIM이 0.10.4 감소했다.

이러한 결과는 모델 수준의 적대적 위협이 실제 배포 환경에서 실질적인 위험을 가질 수 있음을 시사한다. 특히 SR 모델을 외부 저장소에서 다운로드하거나 파인튜닝을 아웃소싱하는 경우, 악의적인 가중치가 삽입될 위험이 존재한다. 기존의 입력‑레벨 방어(예: 입력 정규화, 탐지 모델)로는 이러한 위협을 탐지하기 어렵다.

논문의 강점은 (1) 공격이 테스트 시점에 입력 접근을 전혀 필요로 하지 않아 실용성이 높다, (2) 재구성 손실과 적대적 손실을 동시에 최적화함으로써 품질 저하를 최소화했다는 점이다. 그러나 몇 가지 한계도 존재한다. 첫째, 공격 성공률은 다운스트림 모델의 구조와 복잡도에 크게 의존한다; 복잡한 분류기에서는 목표 정확도가 낮아진다. 둘째, 현재 실험은 이미지넷 서브셋과 YOLOv11에 국한되어 있어, 의료 영상·위성 이미지 등 도메인 특화 SR 파이프라인에 대한 일반화는 추가 검증이 필요하다. 셋째, λ와 r의 선택이 모델마다 다르며, 자동화된 하이퍼파라미터 탐색 방법이 제시되지 않았다.

향후 연구 방향으로는 (1) 다양한 다운스트림 작업(객체 검출, 세그멘테이션)으로 공격 범위를 확대하고, (2) 모델 무결성 검증 기법(예: 가중치 해시, 메타데이터 서명)과 결합한 방어 메커니즘을 설계하며, (3) 적대적 손실을 정규화하거나 적대적 샘플을 생성하지 않고도 공격 효과를 유지할 수 있는 경량화된 손실 설계가 제안될 수 있다.