언어 복잡성 영어와 폴란드어 텍스트와 코퍼스 비교

초록

이 논문은 영어와 폴란드어 텍스트에서 단어의 순위‑빈도 분포를 분석한다. 기본 형태(레마)로 정규화하면 두 자릿수 정도에서 스케일 불변 구간이 끊어지고, 굴절 형태는 전체 구간에서 근사적으로 스케일 불변을 유지한다. 서로 다른 저자의 작품을 모은 코퍼스와 번역문 코퍼스는 동일 저자·원어 코퍼스보다 스케일 불변성이 더 크게 손상된다. 품사별로 보면 동사만이 거의 스케일 불변적인 순위‑빈도 패턴을 보인다.

상세 분석

연구자는 먼저 영문과 폴란드어 원문을 각각 원형(레마) 형태와 굴절 형태로 구분하였다. 레마화 과정에서는 형태소 분석기와 사전 기반 매핑을 이용해 복수·시제·성·격 변화를 제거하고, 각 단어의 기본 의미 단위만을 남겼다. 이후 전체 텍스트와 저자별·번역별 코퍼스를 구성하고, 각 코퍼스에서 단어 빈도를 내림차순으로 정렬해 순위‑빈도 곡선을 그렸다. 전통적인 Zipf 법칙에 따르면 로그‑로그 좌표에서 직선 형태가 나타나야 하지만, 레마화된 데이터는 약 10^2~10^3 순위 구간에서 급격히 기울기가 변하며 두 개의 로그 구간으로 나뉘는 패턴을 보였다. 반면 굴절 형태는 전체 10^5 순위까지 거의 직선에 가깝게 유지돼, 형태 변이가 빈도 분포에 중요한 조절 역할을 함을 시사한다.

코퍼스 비교에서는 동일 저자가 쓴 여러 작품을 모은 경우와 서로 다른 저자의 작품을 혼합한 경우를 대비하였다. 전자는 레마화 시에도 비교적 긴 스케일 불변 구간을 유지했지만, 후자는 초반 구간에서 급격히 기울기가 변해 Zipf 법칙이 약화되었다. 번역 코퍼스(다른 언어에서 폴란드어로 번역된 텍스트) 역시 원어 코퍼스에 비해 레마화 단계에서 스케일 불변성이 크게 손상되었으며, 이는 번역 과정에서 어휘 선택과 문법 구조가 원본과 달라지는 효과를 반영한다.

품사별 분석에서는 모든 단어를 명사·동사·형용사·부사 등으로 태깅한 뒤, 각각의 순위‑빈도 곡선을 별도로 추출했다. 명사와 형용사는 초반 순위에서 급격히 떨어지는 비선형 패턴을 보인 반면, 동사는 전체 구간에 걸쳐 거의 직선에 가까운 로그‑로그 관계를 유지했다. 이는 동사가 언어 사용에서 핵심적인 정보 전달 역할을 하며, 빈도 분포가 다른 품사보다 더 강한 규모 불변성을 갖는다는 가설을 뒷받침한다.

결과적으로, 레마화는 Zipf 법칙의 적용 범위를 제한하고, 굴절 형태는 보다 넓은 스케일에서 법칙을 유지시킨다. 코퍼스의 동질성(동일 저자·원어)과 번역 여부가 스케일 불변성에 미치는 영향도 명확히 드러났으며, 품사 중 동사가 가장 안정적인 스케일 특성을 보였다. 이러한 발견은 언어 통계 모델링, 자연어 처리 파이프라인 설계, 그리고 번역 품질 평가 등에 실질적인 시사점을 제공한다.