규칙 기반과 크라우드소싱을 결합한 통계적 양상 태깅

본 논문은 언어학적 양상(modality) 태깅을 자동화하기 위한 새로운 데이터 구축 및 학습 방법을 제안한다. 양상은 화자가 사건이나 상태에 대해 표현하는 태도(능력, 노력, 의도, 성공, 욕구 등)로, 기존 연구에서는 트리거 단어가 드물어 대규모 학습 코퍼스를 만들기 어려웠다. 저자들은 먼저 Baker et al. (2010)에서 사용된 간단한 규칙 기반 태거를 활용해 영어‑우르두 병렬 코퍼스와 Enron 이메일 코퍼스에서 트리거 어휘가 포함된 문장을 추출하였다. 이 단계는 높은 재현율을 보였지만 정밀도가 약 60%에 불과해 그대로 학습에 사용하기엔 부적절했다. 이를 보완하기 위해 Amazon Mechanical Turk에 작업을 의뢰하였다. 각 양상별로 약 2,000개의 후보 문장을 선정하고, 3명의 Turker가 각각 양상 존재 여부와 해당 양상의 대상(predicate)을 표시하도록 했다. 최소 두 명 이상이 일치한 경우만을 최종 라벨로 채택했으며, 최종적으로 1,008개의 고품질 라벨링 데이터를 확보했다. 라벨링 과정에서 ‘욕구’와 같은 흔히 사용되는 트리거가 과도하게 편중되지 않도록, 동일 트리거당 최대 50문장만 선택하는 제한을 두어 데이터 다양성을 유지했다. 학습 단계에서는 토큰 수준의 어휘적 특징(스테밍, 레마, 품사, 숫자 여부, 동사 유형, 모달 동사 종류)과 주변 토큰(컨텍스트 폭 2)을 결합한 피처 벡터를 사용하였다. 다중 클래스 SVM을 One‑vs‑All 방식으로 학습했으며, 커널은 2차, 정규화 파라미터 C는 1로 설정하였다. 4‑fold 교차 검증 결과, 전체 평균 정밀도 90.1%, 재현율 70.6%, F1 79.1%를 달성했다. 특히 ‘노력’(Precision 95.1, Recall 82.8)과 ‘성공’(Precision 93.2, Recall 76.6)에서 높은 성능을 보였으며, ‘능력’과 ‘욕구’도 비교적 안정적인 결과를 얻었다. 모델을 평가하기 위해, 뉴스, 편지, 블로그 등 다양한 장르가 포함된 1,228문장 규모의 Gold 데이터셋을 별도로 구축하였다. 이 데이터는 전문가가 직접 라벨링했으며, 양상 분포가 MTurk 데이터와 크게 달랐다(예: ‘능력’은 Gold에서 48% 차지). Gold 데이터에 모델을 적용한 결과, 정밀도는 유지되었지만 재현율이 크게 감소해 전체 F1이 41.9%에 머물렀다. 이는 장르 차이, 라벨링 주체 차이, 그리고 양상 비율 차이가 모델 일반화에 미치는 영향을 시사한다. 또한, 라벨링 신뢰도(두 명 동의 vs. 세 명 전원 동의)를 가중치로 활용한 실험을 진행했다. 전원 동의 데이터에 높은 비용(cost) 값을 부여하면 전체 성능이 약간 향상되는 것을 확인했으며, 이는 불확실한 라벨을 낮은 가중치로 처리함으로써 학습 효율을 높일 수 있음을 보여준다. 결론적으로, 저비용의 규칙 기반 후보 추출과 크라우드소싱을 결합한 데이터 구축 방식이 양상 태깅에 필요한 대규모 고품질 학습 데이터를 효율적으로 제공한다는 점을 입증하였다. 향후 연구에서는 더 다양한 양상(예: 사실성, 증거성)과 장르를 포함한 데이터 확장, 그리고 딥러닝 기반 시퀀스 모델과의 결합을 통해 성능을 더욱 향상시킬 수 있을 것으로 기대된다.