말속 코드스위칭 파싱: 새로운 벤치마크와 평가 지표

초록

본 논문은 구어 코드스위칭에서 나타나는 반복, 중단, 생략 등 비정형 현상을 체계화한 분류 체계와 126문장으로 구성된 SpokeBench 벤치마크를 제시한다. 또한, 구조적 모호성을 고려한 FLEX‑UD 평가 지표와, 언어 현상을 별도 모듈로 처리하는 DECAP 파싱 프레임워크를 소개한다. 실험 결과 DECAP은 기존 파서 대비 최대 52.6% 향상을 보이며, FLEX‑UD는 기존 LAS·UAS가 놓친 개선을 드러낸다.

상세 분석

이 연구는 구어 코드스위칭이 기존 UD 가정—예를 들어 완전한 절, 일대일 형태‑기능 매핑—을 지속적으로 위배한다는 점을 실증한다. 저자들은 마이애미 코퍼스의 2,800여 문장을 대상으로 9가지 현상(반복, 담화 요소, 생략, 수축, 복합어·다중단어표현, 사고 중단, 필러, 속어·욕설, 접속형 클리시스)을 도출하고, 각 현상이 헤드 선택, 의존관계 라벨링 등에 어떤 혼란을 초래하는지 상세히 설명한다. 이러한 현상을 균형 있게 포함하도록 126문장을 선별한 SpokeBench은 다중 주석자에 의한 합의 과정을 거쳐 고품질 금본위 트리뱅크를 제공한다.

평가 측면에서는 기존 LAS·UAS가 단일 골드 트리와의 일치만을 측정해, 허용 가능한 변형까지 오류로 간주하는 한계를 지적한다. FLEX‑UD는 오류 심각도에 가중치를 부여하고, 복수의 합리적 분석을 허용하는 가중·불확실성 기반 점수를 도입한다. 이를 통해 구조적 붕괴 오류와 담화‑레벨 변이 사이의 차이를 정량화한다.

파싱 모델 DECAP은 네 개의 독립 에이전트(Spoken‑Phenomena Handler, Language‑Specific Resolver, Core UD Assigner, Confidence Verifier)로 구성된다. SPH는 반복·생략·필러 등을 탐지하고 최소한의 토큰 편집 제안을 제공한다. LSR은 언어별 수축·클리시스·다중단어표현을 보존하면서 UD 형식에 맞게 정규화한다. Core UD Assigner는 기존 파서(예: UDPipe, Stanza)를 그대로 활용하되, SPH·LSR의 제약을 반영해 헤드 충돌을 방지한다. 마지막 단계에서 V/R은 신뢰도 점수를 계산하고, 다중 후보 중 최적 해를 선택한다. 이 구조는 사전 재학습 없이도 기존 파서를 보강할 수 있게 한다.

실험에서는 베이스라인 파서와 LLM 기반 제로샷 파서를 비교했으며, DECAP은 LAS 기준 평균 12.4포인트, FLEX‑UD 기준 평균 18.7포인트 상승을 기록했다. 특히 반복·생략이 빈번한 문장에서 최대 52.6%의 상대적 개선을 보였다. 오류 분석 결과, FLEX‑UD가 기존 지표에서 과소평가된 재구성 오류와 담화 마커 처리 개선을 정확히 포착함을 확인했다.

이 논문은 구어 코드스위칭 파싱을 위한 평가·데이터·모델의 삼위일체적 접근을 제시함으로써, 향후 다언어 대화 시스템, 자동 번역, 음성‑텍스트 연동 기술에 중요한 기반을 제공한다.