정규화 레벤슈타인 거리로 보는 언어 계통과 형태

초록

본 논문은 단어 수준에서 정규화된 레벤슈타인 거리를 이용해 언어 간 거리를 자동으로 측정하는 방법을 제안한다. 기존 스와시어드식 어휘통계가 주관적 판단에 의존하는 반면, 제안 기법은 길이 보정과 평균화 과정을 통해 객관적이고 재현 가능한 결과를 제공한다. 말라가시 방언 군을 대상으로 한 실험에서 새로운 계통 구조와 정착 과정에 대한 통찰을 얻었다.

상세 분석

이 연구는 언어학적 거리 측정에 있어 전통적인 어휘통계법의 한계를 극복하고자, 문자열 편집 거리인 레벤슈타인 거리를 정규화하여 활용한다. 레벤슈타인 거리는 두 문자열을 동일하게 만들기 위해 필요한 삽입·삭제·대체 연산의 최소 횟수를 의미하지만, 원형 단어의 길이에 따라 절대값이 크게 달라지는 문제가 있다. 이를 보완하기 위해 저자들은 각 단어 쌍의 레벤슈타인 거리를 해당 단어들의 평균 길이로 나누는 정규화 과정을 도입하였다. 이렇게 하면 짧은 단어와 긴 단어 사이의 비교가 동일한 척도로 환산되어, 의미적 차이를 보다 정확히 반영한다.

정규화된 거리값을 의미가 동일한 단어 목록(예: Swadesh 리스트) 전반에 걸쳐 평균함으로써 언어 간 종합적인 거리 지표를 산출한다. 이 과정은 완전 자동화가 가능하므로 인간 판별자의 주관적 개입을 최소화한다. 논문에서는 이 방법을 말라가시어 방언 23종에 적용했으며, 각 방언을 표준어와 비교해 얻은 거리 행렬을 기반으로 계층적 군집분석과 다차원 척도법(MDS)을 수행했다. 결과는 기존 연구에서 제시된 방언 구분과 전반적으로 일치하지만, 특히 동부와 서부 방언 사이에 존재하던 미세한 차이를 정량적으로 드러냈다.

또한, 거리 행렬을 이용해 언어 간 진화 속도를 추정하고, 방언 간의 지리적·역사적 연결성을 재구성했다. 정규화 레벤슈타인 거리의 핵심 장점은 (1) 데이터 전처리와 정규화 단계만으로 다양한 언어군에 적용 가능하고, (2) 거리값이 0과 1 사이에 제한되어 해석이 직관적이며, (3) 기존 어휘통계와 달리 ‘공통 어근’ 여부를 판단할 필요가 없다는 점이다. 다만, 음운 변천이나 형태소 수준의 변화를 충분히 반영하지 못한다는 한계가 남아 있어, 향후 형태소 기반 정규화와 결합하는 방안이 제시된다.