수화 구문 분석을 위한 혼합형 문법 프레임워크

초록

본 논문은 수화의 구문 구조를 자동으로 주석화하기 위해, 구성구조와 의존구조를 동시에 표현할 수 있는 새로운 형식론을 제안한다. 기존 CFG와 달리 오른쪽 항을 단순 문자열이 아닌 단위 집합으로 정의하고, 탐지 가능·불가능 단위, 제약조건, 대안 규칙 등을 도입한다. 이를 기반으로 AND/OR 그래프 기반 파서를 구현하고, 실제 수화 코퍼스와 합성 데이터에서 실험한다. 결과는 모델의 불완전성에도 불구하고 다중 해를 생성하고, 해의 크기로 순위 매김하면 부분 해를 효과적으로 배제할 수 있음을 보여준다.

상세 분석

이 연구는 수화(SL) 구문 분석에 있어 기존 음성 언어 중심의 순차적 모델이 적용되기 어려운 점을 정확히 짚고, 두 가지 주요 구문 이론—구성구조(Constituency)와 의존구조(Dependency)—를 하나의 형식론에 통합한다는 점에서 혁신적이다. 형식론은 전통적인 Context‑Free Grammar(CFG)를 확장하여, 오른쪽 생산 규칙을 ‘단위 집합(set of units)’으로 정의하고, 각 단위에 ‘detectable(탐지 가능)’과 ‘non‑detectable(탐지 불가)’ 속성을 부여한다. 또한, 규칙의 좌변을 비터미널/터미널 구분 없이 ‘패턴(pattern)’ 혹은 ‘대안(alternative)’으로 표현한다.

패턴은 트리 구조로 시각화되며, 동일 패턴이 여러 번 인스턴스로 등장할 수 있도록 역할 이름을 부여한다. 대안은 패턴 간 선택을 가능하게 하여, 구문 구조의 가변성을 모델링한다. 가장 중요한 부분은 ‘제약(constraint)’ 메커니즘이다. 시간적(시작·종료), 공간적(위치, 손의 움직임), 조음적(양손 사용 여부) 속성을 논리식으로 기술함으로써, 동일 패턴 내에서도 다양한 변형을 허용한다. 논문은 이러한 제약을 논리 체계와 독립적으로 설계해야 함을 강조한다.

불완전한 모델을 다루기 위해 ‘엣지(edge)’ 개념을 도입한다. 모델에 포함되지 않은 구조는 ‘unmodeled‑loc’와 같은 엣지 노드로 표기되어, 파서가 추론 과정에서 임시적으로 활용한다. 이는 인간 주석가에게 질문을 던지는 인터랙티브 방식과, 자동 검출기와의 협업을 가능하게 한다.

파서는 내부적으로 AND/OR 그래프(암시 그래프)를 구축하고, 이를 인스턴스 기반 명시 그래프로 전환한다. 탐지된 단위는 AND 노드, 대안은 OR 노드로 매핑되며, 최종 해는 그래프 집합 형태로 출력된다. 현재 구현은 top‑down 방식으로, 사전 정의된 루트(예: ‘Signing’ 활동 검출기)에서 시작해 트리를 확장하고, 필요 시 트리를 병합한다. 다중 연결 성분을 허용함으로써, 발화 중단·재개와 같은 실제 수화 현상을 자연스럽게 모델링한다.

실험은 두 축으로 진행된다. 첫 번째는 프랑스 수화(LSF) 코퍼스인 Dicta‑Sign에서 5가지 패턴을 적용한 실제 데이터 실험이며, 두 번째는 합성된 의존문법 데이터를 이용한 정량적 평가이다. 결과는 파서가 다수의 해를 생성하고, 특히 부분 해와 잘못된 계층 구조를 포함한 false‑positive가 많이 발생함을 보여준다. 그러나 해의 크기로 순위를 매기면 대부분의 부분 해를 효과적으로 걸러낼 수 있다. 이는 현재 모델이 제약조건이 충분히 강하지 않아 발생하는 현상으로, 향후 재귀적 제약 추가가 필요함을 시사한다. 전체적으로 이 논문은 수화 구문 분석을 위한 형식론적 토대를 제공하고, 불완전한 모델과 제한된 데이터 상황에서도 실용적인 파싱 프레임워크를 구현한 점에서 의미가 크다.