단어열 결합 강도 측정을 위한 구글 기반 상호정보와 독립성 지표

본 논문은 자동 용어 인식 분야에서 ‘유니쓰(unithood)’라는 개념이 ‘용어성(termhood)’에 종속되어 연구가 소홀히 된 점을 지적하고, 이를 독립적인 연구 대상으로 삼아 새로운 측정 프레임워크를 제시한다. 먼저, 기존 연구들을 살펴보면 대부분이 상호정보(MI)나 로그우도비(log‑likelihood ratio)와 같은 통계량을 사용해 단어쌍의 결합 강도를 평가했으며, 이러한 방법은 도메인 특화 코퍼스에 의존해 데이터 희소성 문제와 도메인 이동성 한계에 직면한다는 단점을 가지고 있다. 또한, C‑value와 같은 독립성 기반 지표는 주로 빈도에만 의존해 길이가 긴 후보에 편향되는 경향이 있다. 이에 저자들은 두 가지 주요 혁신을 도입한다. 첫 번째는 통계적 근거를 웹 전체로 확장한 것이다. 구글 검색 엔진을 ‘거대한 코퍼스’로 활용해 각 어구와 어구쌍에 대한 페이지 수를 획득하고, 이를 확률 추정에 사용한다. 페이지 수는 실제 문서 수와 비례하므로, 희소 어휘에 대해서도 신뢰할 수 있는 추정치를 제공한다. 두 번째는 기존 C‑value를 변형한 ‘독립성(ID)’ 지표를 도입한 것이다. ID는 개별 어구의 페이지 수와 전체 어구쌍의 페이지 수 차이를 로그 변환한 값으로, 개별 어구가 많이 등장하지만 결합 형태는 드물 때(즉, MI가 낮은 경우)에도 결합을 허용할 근거를 제공한다. 후보 어구 추출 단계에서는 Stanford Parser 기반의 의존구문 분석 결과를 활용한 헤드‑드리븐 좌우 필터를 적용한다. 이 필터는 명사구의 핵심인 ‘헤드 명사’를 식별하고, 좌우에 위치한 명사·형용사·외국어 등을 순차적으로 확장해 최대 길이 명사구를 구성한다. 전치사·소유격 등 결합을 방해하는 요소는 제외함으로써, 전통적인 정규표현식 기반 필터보다 문법적 정확도가 높다. 다음으로, 추출된 후보 어구 쌍 (aₓ, a_y) 중 인접하거나 전치사·‘and’로 연결된 경우를 대상으로 결합 여부를 판단한다. 결합 판단은 두 단계로 이루어진다. ① 상호정보(MI) 계산: 구글 페이지 수를 이용해 p(s), p(aₓ), p(a_y)를 구하고 MI = log₂