대응 패턴을 활용한 불규칙 어휘 식별 및 정규성 측정

초록

본 논문은 어휘 비교에서 반복되는 음운 대응 패턴의 정규성을 정량화하는 새로운 지표인 “균형 평균 재발 빈도”(balanced average recurrence)를 제안한다. 이 지표를 기반으로 한 알고리즘은 한 단어를 제외했을 때 정규성이 향상되는 경우를 탐지해, 불규칙 어휘를 자동으로 식별한다. 실제 LexiBank 데이터 20개와 시뮬레이션 데이터를 이용한 leave‑one‑out 검증에서 평균 85 %의 정확도를 기록하였다.

상세 분석

이 연구는 역사언어학에서 오랫동안 정규성(regularity)이 직관적 판단에 의존해 왔다는 점을 비판하고, 정규성을 정량적으로 측정할 수 있는 방법론을 제시한다. 핵심은 ‘대응 패턴(correspondence pattern)’이라는 개념이다. 각 언어의 음운 열을 정렬(alignment)한 뒤, 동일한 음운 환경을 공유하는 열들을 패턴으로 묶는다. 패턴의 재발 빈도는 해당 패턴이 전체 정렬에서 몇 번 나타나는지를 세어 구한다.

논문은 세 단계로 정규성 점수를 산출한다. 첫째, 각 정렬 열에 대해 해당 열이 속할 수 있는 모든 패턴을 탐색하고, 가장 많은 열과 호환되는 패턴을 선택한다. 둘째, 선택된 패턴들의 재발 빈도를 로그 변환한 뒤 평균을 구한다. 로그 변환은 한두 개의 고빈도 패턴이 전체 평균을 왜곡하는 것을 방지한다. 셋째, 로그 평균값에 지수 함수를 적용해 ‘균형 평균 재발 빈도’를 얻는다. 이 값은 1에 가까울수록 해당 정렬이 평균적인 패턴 빈도와 잘 맞는, 즉 정규적이라는 의미이다.

데이터 정규화도 중요한 절차다. 각 패턴의 절대 빈도를 전체 열 수로 나눈 뒤 로그 변환을 수행함으로써, 언어 수·개념 수·코그네이트 집합 수가 서로 다른 데이터셋 간에 비교가 가능하도록 만든다. 이렇게 얻은 정규성 점수는 데이터셋 전체의 ‘정규성 프로파일’을 제공한다.

불규칙 어휘 탐지는 leave‑one‑out 검증을 통해 구현된다. 특정 코그네이트 집합에서 하나의 단어를 임시로 제거하고 정규성 점수를 재계산한다. 제거 후 점수가 현저히 상승하면, 해당 단어가 정규성을 저해하는 불규칙 어휘로 판단한다. 이 과정을 모든 단어에 대해 반복함으로써, 가장 큰 정규성 향상을 가져오는 단어를 자동으로 식별한다.

실험은 두 가지 축으로 진행된다. 첫 번째는 시뮬레이션 데이터로, 의도적으로 불규칙 어휘를 삽입한 코그네이트 집합을 만들고 알고리즘이 이를 정확히 찾아내는지를 평가한다. 두 번째는 실제 LexiBank v2.1에 포함된 20개 데이터셋(총 576개 언어, 19계통)에서 무작위로 한 단어를 교체해 만든 변형 데이터에 적용했다. 결과는 실제 데이터에서 평균 85 %의 정확도를 보였으며, 특히 수동 정렬이 제공된 데이터셋(예: CrossAndean, BlumPanotacana, LeeAinu)에서 높은 정규성 점수를 기록했다.

또한 데이터 규모와 불규칙성 비율이 결과에 미치는 영향을 분석했다. 데이터 샘플을 축소했을 때 정규성 점수의 변동성이 커졌으며, 불규칙 어휘 비율이 증가할수록 알고리즘의 정확도는 서서히 감소했지만, 30 % 수준까지는 여전히 70 % 이상의 정확도를 유지했다. 이는 대규모 코퍼스에서도 실용적으로 활용 가능함을 시사한다.

이 논문의 의의는 두fold이다. 첫째, 정규성이라는 개념을 수치화함으로써 코그네이트 코딩의 품질을 객관적으로 평가할 수 있게 되었다. 둘째, 정규성 점수를 기반으로 한 불규칙 어휘 탐지 방법은 기존의 수작업 검증 과정을 크게 자동화하고, 데이터 정제 단계에서 오류를 사전에 발견할 수 있는 도구로 활용될 수 있다. 향후 프로토-언어 재구성, 어휘 변이 예측, 언어계통 분석 등에 정규성 점수를 통합하면, 보다 정교하고 신뢰성 높은 결과를 기대할 수 있다.