데이터 효율적인 미국 수화 인식을 위한 소수 샷 프로토타입 네트워크

초록

본 논문은 데이터가 부족하고 클래스 불균형이 심한 미국 수화(ASL) 인식 문제를 해결하기 위해, 스켈레톤 기반 ST‑GCN 인코더와 다중 스케일 시간 집계(MSTA) 모듈을 결합한 프로토타입 네트워크를 제안한다. 에피소드 학습을 통해 의미론적 메트릭 공간을 학습함으로써, 5‑way 5‑shot 설정에서 Top‑1 43.75%, Top‑5 77.10%의 성능을 달성했으며, 기존 동일 백본 분류기 대비 13% 이상 향상되었다. 또한 사전 미세조정 없이 SignASL 데이터셋에 대해 약 30%의 제로샷 정확도를 기록, 데이터 효율적인 확장 가능성을 입증한다.

상세 분석

이 연구는 세 가지 핵심 기술적 기여를 제시한다. 첫째, 스켈레톤 기반 입력을 활용해 영상 전체를 처리하는 RGB‑CNN 대비 연산량을 크게 줄이고 배경·조명 변화에 강인한 특징을 추출한다. 이를 위해 RTMLib 기반의 2D 포즈 추정기로 몸·손·얼굴 133개의 관절을 추출하고, 전역 스케일링·지역 중심화·신뢰도 게이팅을 단계적으로 적용한 정규화 파이프라인을 설계하였다. 이러한 정규화는 촬영 거리·시선 변동을 최소화해 ST‑GCN이 그래프 구조를 통해 관절 간 공간·시간 관계를 효과적으로 학습하도록 돕는다.

둘째, 기존 ST‑GCN에 Multi‑Scale Temporal Aggregation(MSTA) 모듈을 추가하였다. MSTA는 커널 크기 3, 5, 7인 1D 컨볼루션을 병렬로 적용해 짧은 급격한 움직임과 긴 유동적 제스처를 동시에 포착한다. 이후 학습 가능한 어텐션 풀링을 통해 프레임별 중요도를 가중합함으로써, 가변 길이 시퀀스를 고정 차원 임베딩(z)으로 압축한다. 이 설계는 수화의 다양한 속도와 지속시간을 반영하면서도 중요한 프레임을 강조하는 장점을 가진다.

셋째, 프로토타입 네트워크 기반의 메트릭 학습을 도입해 클래스 경계가 고정된 전통적인 소프트맥스 분류기와 차별화하였다. 에피소드 학습 단계에서 N‑way, K‑shot 지원 집합을 무작위로 구성하고, 각 클래스의 프로토타입을 지원 샘플 임베딩의 평균으로 정의한다. 쿼리 샘플은 유클리드 거리 기반 소프트맥스 확률로 프로토타입에 매핑되며, 교차 엔트로피 손실을 최소화한다. 이 과정은 클래스 간 거리 구조를 전역적으로 정규화하므로, 훈련 시에 보지 못한 새로운 클래스에도 일반화가 가능하다.

실험에서는 WLASL 데이터셋(2,000+ 클래스)에서 5‑way 5‑shot 설정으로 Top‑1 43.75%, Top‑5 77.10%를 기록했으며, 동일 백본을 사용한 전통적인 소프트맥스 분류기 대비 13% 이상의 절대적 향상을 보였다. 또한, 사전 미세조정 없이 SignASL 데이터셋에 대해 약 30%의 제로샷 정확도를 달성, 메트릭 공간이 클래스 간 전이 학습에 유효함을 입증한다. 학습 효율성 측면에서는 자동 혼합 정밀도(Amp)와 에피소드 배치 샘플러를 활용해 N‑way를 크게 확대했으며, 속도 변형 데이터 증강을 통해 시간적 변동성에 대한 강인성을 강화하였다.

한계점으로는 2D 스켈레톤에 의존함에 따라 깊이 정보 손실이 발생할 수 있으며, 손·얼굴 관절의 정확도가 포즈 추정기의 품질에 크게 좌우된다. 또한, 현재 실험은 주로 5‑way 제한된 에피소드에 초점을 맞추었으므로, 실제 서비스 환경에서 수천 클래스에 대한 대규모 프로토타입 관리와 실시간 추론 비용에 대한 추가 연구가 필요하다.