시각적 아이코닉 제스처 의미론: 공간적 해석과 언어 통합

초록

본 논문은 아이코닉 제스처의 의미를 언어와 구분된 시각‑공간 레벨로 정의하고, 제스처의 운동 데이터를 벡터 시퀀스로 변환한 ‘아이코닉 모델’과 이를 공간적 도메인에 임베딩하는 방법을 제시한다. 회전·스케일·시점 고정·손형 인용 등 변환을 허용한 뒤, 정보적 평가(heuristic labeling)를 통해 제스처를 준언어적 수준으로 승격시켜 말과의 의미 통합을 가능하게 한다.

상세 분석

이 논문은 최근 멀티모달 의미론에서 제스처와 언어의 관계를 형식화하려는 시도에 대한 중요한 비판적 고찰을 제공한다. 저자들은 기존의 ‘라벨링 이론’과 ‘공간 이론’이 각각 의미 부여 과정에서 갖는 한계를 지적한다. 라벨링 이론은 제스처에 임의적 레이블을 부착하는데, 이는 해석자마다 다른 판단을 야기하고 형식적 규칙이 부재하다. 반면 공간 이론은 제스처의 운동학적 정보를 공간 구조로 모델링하지만, 실제 kinematic 데이터에서 벡터 모델을 자동으로 생성하고 이를 언어 의미와 연동시키는 구체적 절차가 제시되지 않는다.

저자들은 이 두 접근을 통합하기 위해 ‘벡터 공간 의미론’을 도입한다. 먼저, 제스처를 시간 순서대로 기록된 관절 좌표와 손형 정보를 포함하는 고차원 벡터 시퀀스로 변환한다(아이코닉 모델). 이 모델은 전통적인 의미론에서 intension을 표현하는 벡터와 유사하게, 특정 lexical item의 의미적 확장을 나타내는 역할을 한다.

다음 단계는 ‘임베딩’이다. 아이코닉 모델을 물리적·추상적 공간 도메인에 매핑하면서, 회전(rotation), 스케일링(scaling), 관점 고정(perspective fixation), 손형 인용(quotation of handshape)이라는 네 가지 변환을 허용한다. 이는 실제 인간이 제스처를 해석할 때 시점이나 크기, 방향을 자유롭게 변형해도 의미가 유지되는 현상을 형식화한 것이다. 변환 허용을 통해 단일 아이코닉 모델이 여러 상황에 적용될 수 있음을 보이며, ‘단순 임베딩’이 지나치게 강력한 가정을 만든다는 점을 보완한다.

가장 혁신적인 부분은 ‘정보적 평가(informational evaluation)’이다. 저자는 제스처를 단순히 시각적 현상으로 남겨두는 것이 아니라, 해석자가 수행하는 ‘heuristic labeling’ 과정을 명시한다. 이 과정에서 제스처는 ‘준언어적’ 수준으로 승격돼, 기존의 동적 의미론(dynamic semantics)에서 사용되는 레퍼런스와 전제(issues) 관리 메커니즘에 참여한다. 구체적으로, 제스처가 제공하는 시각적 정보는 ‘exemplification(예시화)’과 ‘extemplification(확장 예시화)’이라는 두 단계의 의미 변환을 거쳐 언어적 레이블과 연결된다. 이는 Goodman의 예시화 이론을 확장한 것으로, 제스처가 직접적인 진리값을 갖지는 않지만, 언어적 추론을 촉발하는 ‘비언어적 전제’를 제공한다는 점에서 의미론적 파급력이 크다.

또한 논문은 AI 기반 제스처 인식 파이프라인을 실증적으로 제시한다. 자체 수집한 코퍼스에 대해 self‑supervised pretraining → fine‑tuning → 평가 단계로 진행하며, 벡터 모델과 정보적 평가 모듈을 결합한 시스템이 기존 라벨링 기반 접근보다 높은 정확도와 해석 일관성을 보임을 보고한다.

마지막으로 저자는 ‘에너지 공간(energy spaces)’, ‘시간·강도’와 같은 추가 차원을 논의하며, 현재 모델이 정적 형태에 국한된 한계를 인정하고, 동적·다중손 제스처, 복합 객체 구조 등에 대한 확장 가능성을 제시한다. 전체적으로 이 논문은 제스처 의미를 형식화하려는 최초의 시도 중 하나이며, 벡터 공간을 매개로 언어와 시각을 연결하는 구체적 메커니즘을 제공한다는 점에서 멀티모달 의미론 연구에 중요한 이정표가 된다.