피라미드형 샤플리 테일러 학습으로 세밀한 동작 언어 검색 구현

초록

본 논문은 인간 동작과 자연어 설명 사이의 세밀한 대응을 위해 동작을 관절·구간 단위로 분해하고, Shapley‑Taylor 상호작용 지표를 활용한 피라미드형 학습 프레임워크(PST)를 제안한다. 관절‑레벨, 구간‑레벨, 전체‑레벨의 3단계 정렬을 순차적으로 수행해 지역적 의미와 계층적 구조를 동시에 포착함으로써 기존 전역 정렬 방식보다 뛰어난 검색 정확도를 달성한다.

상세 분석

이 연구는 인간 동작‑언어 검색에서 “전역 정렬”만으로는 세부 의미를 놓친다는 근본적인 한계를 짚고, 인간이 동작을 인지하는 피라미드적 과정을 모델링한다는 점에서 혁신적이다. 먼저 동작 데이터를 관절(J)과 시간(L) 차원으로 3차원 텐서(L × J × 3) 형태로 표현하고, 이를 일정 길이의 구간(S)으로 슬라이딩 분할한다. 구간은 연속적인 관절 움직임의 의미적 단위로, 예를 들어 “걸음”, “정지”와 같은 행동을 포괄한다.

핵심 기법은 Shapley‑Taylor Interaction(STI)이다. 기존 Shapley 값은 개별 특성의 기여도를 평가하지만, STI는 2차 상호작용까지 고려해 두 토큰(관절 토큰과 텍스트 토큰) 사이의 공동 기여도를 정량화한다. 구체적으로, 모든 토큰을 무작위 순열로 배열하고, 특정 관절‑텍스트 토큰 쌍이 등장하기 전까지의 프리픽스 집합 Sπ에 대해
ϕ(e_t, e_m) = Eπ