모달리티에 구애받지 않는 소수샷 모델 전이, 엣지 인간 감지를 위한 XTransfer

초록

XTransfer는 사전 학습된 모델을 최소한의 센서 데이터만으로 다른 센서 모달리티에 전이시켜, 엣지 디바이스에서 인간 활동·감정·생체 신호 인식을 고성능·저비용으로 구현한다. 레이어‑단위의 MMC(Mean Magnitude of Channels) 변화를 최소화하는 모델 수리와, NAS‑영감을 받은 레이어 재조합(LWS)으로 구조를 최적화한다. 실험 결과, 기존 최첨단 방법보다 정확도와 연산·메모리 효율 모두에서 우수함을 입증한다.

상세 분석

XTransfer는 인간 감지와 같이 데이터 수집이 비용·프라이버시 측면에서 어려운 분야에 초점을 맞춘다. 기존의 Few‑Shot Learning이나 전이 학습은 동일 모달리티 내 대규모 라벨 데이터에 의존하거나, 모달리티 간 차이(모달리티 시프트)를 충분히 보정하지 못해 성능 저하가 빈번했다. 논문은 이러한 문제를 “레이어‑단위 MMC 이동”이라는 정량적 지표로 정의하고, MMC가 크게 변할수록 레이어별 정확도 수렴이 방해받는 것을 실증한다.

이를 해결하기 위해 제안된 SRR 파이프라인은 세 단계로 구성된다. 첫째, Splice 단계에서는 서로 다른 형태(채널·해상도)의 레이어를 연결하기 위해 가변형 Conv‑Header와 Resizer, Encoder‑Decoder를 포함한 경량 커넥터를 삽입한다. 둘째, Repair 단계에서는 각 커넥터를 “앵커 기반 생성 전이 모듈”로 미세조정한다. 여기서 앵커는 원본 사전 학습 레이어의 MMC를 PCA로 2차원 정규 직교 공간에 투영한 것으로, 고분산 잡음을 제거하고 핵심 채널을 강조한다. 센서 데이터의 MMC를 동일한 PCA 공간에 투영한 뒤, 앵커 중심과 센서 중심 간 거리(즉, MMC shift)를 최소화하도록 학습한다. 셋째, Removal 단계에서는 불필요한 채널을 제거해 파라미터와 연산량을 추가로 감축한다.

수리된 레이어가 모두 유용한 것은 아니므로, XTransfer는 Layer‑Wise Search(LWS) 제어기를 도입한다. LWS는 NAS‑스타일의 비용‑제한 탐색을 수행하면서, 사전 검색 체크와 동적 탐색 범위 조절을 통해 후보 레이어 풀을 효율적으로 축소한다. 이렇게 선택된 레이어만을 재조합해 최종 모델을 재구성함으로써, 모달리티 시프트 보정 효과를 유지하면서도 엣지 디바이스에 적합한 경량 구조를 얻는다.

실험에서는 이미지, 텍스트, 오디오 등 다양한 소스 모달리티와 IMU, 레이더, 초음파 등 인간 감지 타깃 모달리티를 조합한 6개 데이터셋을 사용했다. 5‑shot 설정에서 기존 SOTA(예: ProtoNet, MAML, Cross‑Domain FSL)보다 평균 7.3%p 높은 정확도를 기록했으며, 모델 파라미터는 평균 42% 감소, 추론 지연은 35% 감소했다. 특히 프루닝 기반 경량화가 50% 정확도 손실을 초래하는 반면, XTransfer는 손실 없이 경량화를 달성했다. 이러한 결과는 “레이어‑단위 MMC 최소화 + 앵커 기반 정규화 + 효율적 레이어 재조합”이라는 설계가 모달리티 간 지식 전이에 있어 핵심적인 역할을 함을 입증한다.