시각장애인과 시각인 대화의 제스처를 기록하는 새로운 멀티모달 코퍼스

초록

Gest‑IT 프로젝트는 시각장애인과 시각인 사이의 자연스러운 대화를 녹음·촬영하고, 정서·음성·제스처 3가지 층으로 정밀히 전사한다. 기존 멀티모달 코퍼스가 갖는 전사 표준 부재와 비생태적 실험 설계 문제를 해결하기 위해 CoNLL‑U 형식으로 통합하고, Git‑YAML 기반 워크플로우로 관리한다. 현재 13개의 대화(약 7시간)와 6명·8명의 참여자를 확보했으며, 향후 데이터 확대와 자동 전사 도구 개발을 목표로 한다.

상세 분석

본 논문은 멀티모달 언어 연구에서 가장 시급한 두 가지 문제—비언어적 행동에 대한 표준 전사 체계 부재와 전사·주석에 소요되는 막대한 인력·시간—를 명확히 제시한다. 저자들은 IPA와 정규 orthography와 같은 음성 전사 체계는 이미 확립돼 있으나, 제스처에 대한 객관적 형태 기술이 부족함을 지적한다. 이를 보완하기 위해 Gest‑IT는 세 층 전사 방식을 채택한다. 첫 번째 층은 전통적인 orthographic 전사로, 텍스트 형태를 그대로 기록한다. 두 번째 층은 prosodic 전사로, 강세·억양·음절 경계 등을 IPA 기반 기호로 표기한다. 세 번째 층은 새로운 gestural 전사 체계로, 손·팔·머리·몸통 등 각 관절의 움직임을 형태·방향·속도 등 객관적 파라미터로 기술한다. 이러한 3‑layer 구조는 각 모달리티를 독립적으로 분석하면서도, 시간 축을 기준으로 정밀히 정렬할 수 있게 한다.

데이터 수집 설계에서도 중요한 혁신을 보여준다. 시각장애인(BG)과 시각인(SG)을 각각 6명·8명씩 모집하고, 동일 시각 조건(S)과 상이 시각 조건(D), 그리고 마스크드(M)와 언마스크드(U) 상황을 교차 배치함으로써, 시각 정보가 제스처 생성에 미치는 영향을 다변량적으로 탐색한다. 특히 마스크드 상황에서는 참가자들을 등 뒤로 앉히는 방식으로 비언어적 신호를 차단해, 시각적 피드백이 없는 경우의 제스처 사용을 관찰한다. 이러한 실험 설계는 기존 연구가 주로 실험실 장비(헤드셋·모션 캡처)로 인한 인위성을 비판해 온 점을 보완한다.

기술적 측면에서는 데이터 관리와 재현성을 위해 Git 기반 중앙 저장소와 YAML 메타데이터 파일을 도입한다. 각 대화와 참여자는 별도 YAML 파일로 정의되며, CI/CD 파이프라인을 통해 새로운 데이터가 추가될 때마다 자동으로 통계표와 상태 보고서가 생성된다. 전사 결과는 CoNLL‑U 형식으로 변환돼, 기존 Universal Dependencies 파이프라인과 호환 가능하도록 설계되었다. 이는 언어학 커뮤니티가 멀티모달 데이터를 기존 NLP 도구와 쉽게 연동할 수 있게 한다는 점에서 큰 장점이다.

향후 과제는 두드러진다. 현재 파일 수가 적고, 전사 인력이 제한적이므로 자동화된 전사·주석 도구(예: 비디오‑음성 동기화, 제스처 인식 모델)의 개발이 필요하다. 또한, 현재는 이탈리아어 대화에 국한돼 있으므로, 다른 언어·문화권으로 확장해 보편성을 검증해야 한다. 마지막으로, 제스처 전사 체계가 아직 완전한 표준으로 자리매김하지 못했으므로, 국제 학술 공동체와의 협업을 통해 코덱스와 메타데이터 스키마를 정형화하는 작업이 요구된다.