코크보록 어휘 목록의 음운 부조화 자동 탐지

초록

본 연구는 코크보록(Kokborok) 어휘 목록에서 전사 오류와 차용어를 자동으로 식별하기 위해 음소와 음절 수준의 n‑gram 언어 모델을 활용한 비지도 이상 탐지 방법을 제안한다. 문자‑레벨과 음절‑레벨 특징을 비교 평가한 결과, 음절‑레벨 모델이 전반적인 정밀도와 재현율에서 우수함을 확인하였다. 제안된 고재현율 접근법은 현장 언어학자에게 의심되는 항목을 빠르게 표시하여 데이터 품질을 향상시키는 실용적 도구로 활용될 수 있다.

상세 분석

이 논문은 저자들이 언어 문서화 과정에서 흔히 발생하는 전사 오류와 차용어를 자동으로 탐지하기 위한 비지도 학습 프레임워크를 설계한 점에서 의미가 크다. 먼저 코크보록과 방글라어(Bangla) 간의 음운적 대비를 정량화하기 위해 음소‑레벨와 음절‑레벨의 n‑gram 언어 모델을 구축하였다. 음소‑레벨에서는 2‑gram(바이그램)과 3‑gram(트라이그램) 모델을 학습하고, 각 단어에 대해 음소 시퀀스의 부정 로그우도(NLL)를 계산한다. NLL을 평균, 조화 평균, 최소값, 최대값 등 네 가지 집계 방식으로 요약함으로써 전사 오류가 드물게 나타나는 음소 조합을 효과적으로 포착한다.

음절‑레벨 모델은 음소의 음절 구조 정보를 활용한다. 저자들은 음절 경계를 자동으로 탐지하기 위해 음성학적 Sonority Hierarchy와 Maximum Onset Principle을 적용했으며, 이를 통해 ‘.’ 기호를 삽입해 음절 구분을 명시하였다. 이후 음절 내부, 음절 경계 횡단, 그리고 경계‑를‑음소로 취급하는 세 가지 분석 방식을 도입해 각각의 n‑gram NLL을 계산하였다. 이러한 다중 관점은 단순히 음소 빈도만을 고려하는 모델보다 복합적인 음운 규칙 위반을 더 정밀하게 드러낸다.

실험에서는 3065개의 단어(중복 제거 후)와 555개의 차용어(Gold 표준)를 사용해 정밀도(P@K)와 재현율(R@K)을 K=100, 500, 1000에서 평가하였다. 결과는 트라이그램이 바이그램보다 전반적으로 우수했으며, 특히 조화 평균 집계가 가장 높은 재현율(0.52 at K=1000)을 보였다. 음절‑레벨 분석에서는 ‘Within‑syllable’ 접근이 가장 높은 정밀도(0.47 at K=100)와 재현율(0.49 at K=1000)을 기록했으며, ‘Boundary‑as‑phoneme’ 방식도 K가 작을 때 강력한 성능을 나타냈다. 반면 ‘Cross‑boundary’ 분석은 낮은 정밀도와 재현율을 보여, 코크보록의 음운 제한이 주로 음절 내부 구조에 집중되어 있음을 시사한다.

또한 무작위 샘플링(Uniform, Stratified)과 비교했을 때, 제안된 n‑gram 모델은 확연히 높은 성능을 보이며, 특히 차용어가 방글라어와 음운적으로 유사한 경우에도 모델이 이를 효과적으로 탐지함을 확인하였다. 전사 오류에 대한 라벨링이 제한적이었음에도 불구하고, 모델이 잠재적 오류를 높은 NLL 점수로 표시함으로써 현장 연구자가 추가 검증을 수행할 수 있는 실용적 경고 시스템을 제공한다.

한계점으로는 데이터 규모가 작아 신경망 기반 언어 모델 적용이 어려웠으며, 차용어와 전사 오류를 구분하는 정밀한 라벨링이 부족했다는 점을 들었다. 향후 대규모 코퍼스와 심층 학습 모델을 결합하면 더 높은 정확도와 미세한 음운 변이를 포착할 수 있을 것으로 기대된다.