프라이버시를 지키는 비디오 초해상도 연합 학습 FedVSR

초록

**
FedVSR는 비디오 초해상도(VSR)를 위한 최초의 연합 학습(FL) 프레임워크로, 모델에 의존하지 않는 무상태 설계와 3차원 이산 웨이브렛 변환(DWT) 기반 고주파 손실을 도입한다. 클라이언트는 로컬 학습 시 DWT 손실을 추가해 공간·시간 고주파 정보를 보존하고, 서버는 로컬 손실을 활용한 가중 평균으로 클라이언트 기여도를 동적으로 조정한다. 실험 결과, 기존 FL 방법 대비 PSNR·SSIM·LPIPS·VMAF 등 여러 지표에서 크게 향상되면서도 연산·통신 비용은 거의 증가하지 않는다.

**

상세 분석

**
FedVSR는 기존 연합 학습이 저수준 복원 작업, 특히 비디오 초해상도와 같은 고주파 디테일이 중요한 분야에서 성능 저하를 보이는 문제점을 정확히 짚어낸다. 첫 번째 핵심 기여는 3차원 DWT 기반 손실 함수이다. Haar 웨이브렛을 사용해 영상 클립을 8개의 서브밴드로 분해하고, 저주파 근사 계수와 고주파 상세 계수를 별도로 처리한다. 고주파 상세 계수에 대한 L1 손실을 추가함으로써, 로컬 업데이트 단계에서 클라이언트가 텍스처와 움직임 경계와 같은 미세 정보를 손실 없이 학습하도록 유도한다. 흥미롭게도, 이 손실은 중앙집중식 학습에서는 오히려 성능을 저하시킬 정도로 과도한 고주파 강조가 발생하지만, 연합 환경에서는 통신 제한과 데이터 이질성으로 인한 고주파 손실을 보완하는 역할을 한다.

두 번째 기여는 손실 인식 가중 평균(loss‑aware aggregation)이다. 기존 FedAvg은 클라이언트 데이터 양에 비례해 가중치를 부여하지만, 데이터 품질이나 노이즈 수준을 반영하지 못한다. FedVSR는 각 클라이언트가 로컬 학습 동안 기록한 평균 손실값을 서버에 전송하고, 손실이 낮은 클라이언트에게 더 큰 가중치를 부여한다. 이는 데이터 이질성(다양한 영상 콘텐츠·품질)과 비정상적인 클라이언트(노이즈가 심하거나 학습이 불안정한 경우)를 자연스럽게 억제한다.

모델‑무관성(model‑agnostic) 설계도 중요한 특징이다. 프레임워크는 VSR 모델의 내부 구조를 전혀 건드리지 않으며, 오직 손실 함수와 서버 집계 로직만 교체한다. 따라서 최신의 Transformer‑기반 VSR(예: VR‑T, R‑VR‑T, IAR‑T)부터 전통적인 CNN‑기반 모델까지 그대로 적용 가능하고, 클라이언트 측에 추가적인 파라미터 저장이나 상태 유지가 필요하지 않다. 이는 메모리·연산 제한이 심한 모바일·IoT 디바이스에 최적화된 설계라 할 수 있다.

실험에서는 REDS, Vid4, UDM10 등 다양한 데이터셋과 4가지 VSR 백본 모델을 대상으로 10라운드 이상의 연합 학습을 수행했다. FedVSR는 최고 +0.89 dB PSNR, +0.037 SSIM, ‑0.0347 LPIPS, +4.98 VMAF 개선을 기록했으며, 통신량은 FedAvg 대비 1~2 % 증가에 그쳤다. 또한, 클라이언트 수가 5에서 20으로 늘어나도 수렴 속도와 최종 성능이 크게 변하지 않아 확장성도 검증되었다.

전반적으로 FedVSR는 고주파 보존을 위한 경량 손실과 손실 기반 가중 평균이라는 두 축을 통해, 연합 학습 환경에서 비디오 초해상도의 품질 저하 문제를 효과적으로 해결한다. 이는 프라이버시 보호와 고품질 영상 복원을 동시에 추구하는 실시간 스트리밍, 원격 의료, 감시 시스템 등에 실용적인 솔루션을 제공한다.

**