상대 빈도 기반 무감독 저자 동명 구분

초록

본 논문은 Web of Science 데이터베이스의 연구자 ID를 활용해, 저자 이름 동명 문제를 해결하기 위한 간단하면서도 효과적인 무감독 방법을 제시한다. 특징 겹침을 기반으로 한 확률적 유사도(p(C|C′))를 정의하고, 이를 이용해 agglomerative clustering을 수행한다. 단일 파라미터(l)만 튜닝하면 기존 복잡한 모델들과 동등하거나 우수한 성능을 얻으며, 훈련 없이도 상태‑오브‑더‑아트 수준을 달성한다.

상세 분석

이 연구는 저자 동명(동일 문자열이 여러 저자를 가리키는 현상) 해결을 위해, 복잡한 지도학습이나 다단계 토픽 모델링 없이도 충분히 강력한 성능을 얻을 수 있음을 입증한다. 핵심 아이디어는 각 저자 언급(x)에 대해 문서 d(x)에서 추출한 다양한 특징 집합 F(x)을 정의하고, 전체 컬렉션에서 특징 f의 전체 빈도 # (f)와 전체 언급 수 # (Ω)를 이용해 조건부 확률 p(C|C′)=∑_{(x, x′)∈C×C′} p(x|x′)·#(x′)/#(C′) 를 계산한다. 여기서 p(x|x′)는 특징별 빈도 곱의 정규화 형태이며, ϵ 스무딩을 통해 0‑분할을 방지한다.

조건부 확률만을 점수(sc)로 사용하고, 클러스터 크기에 대한 사전 확률 p(C)를 배제함으로써 큰 클러스터가 무조건 선호되는 현상을 억제한다. 이는 클러스터 병합 과정에서 “큰 클러스터가 더 큰 클러스터를 끌어당긴다”는 편향을 없애, 실제 의미 있는 특징 겹침에 기반한 병합을 가능하게 한다.

알고리즘은 초기에는 모든 언급을 개별 클러스터로 시작하고, 매 반복마다 sc가 사전 정의된 임계값 l을 초과하고, 서로 다른 클러스터 쌍 사이에서 최대 sc를 갖는 쌍만을 선택해 병합한다. 이 과정은 더 이상 병합 후보가 없을 때 수렴한다. l은 유일한 튜닝 파라미터이며, 실험에서는 전체 데이터셋에 대해 0.5 ~ 0.7 범위가 최적으로 나타났다.

특징 집합은 총 8가지 유형(용어, 소속, 카테고리, 키워드, 공동저자, 인용저자, 이메일, 연도)으로 구성된다. 연도는 가우시안 모델링을 통해 시간적 근접성을 반영한다. 특징별 가중치는 동일하게 취급했으며, 이는 모델이 특정 특징에 과도하게 의존하지 않도록 설계된 것이다.

평가에서는 Web of Science의 연구자‑ID를 골드 스탠다드로 사용해, 각 이름 블록별 정답 클러스터 크기(1, 2, 3, ≥4)별로 F1 점수를 산출했다. 결과는 단일 클러스터(모든 언급을 하나로 묶는) 베이스라인과 비교했을 때, 특히 클러스터 수가 2~3개인 경우에 현저히 높은 개선을 보였다. 전체 평균 F1는 0.92에 달했으며, 이는 기존 복잡한 확률 모델(예: Naïve Bayes 혼합, MRF 기반 모델)과 동등하거나 더 좋은 수준이다.

또한, 전체 컬렉션을 기준으로 # (f)와 # (Ω)를 계산하는 변형이, 각 이름 블록 내부에서만 계산하는 경우보다 성능이 유의미하게 향상됨을 확인했다. 이는 전체 데이터에서 특징 빈도가 더 풍부하게 추정되어 희소성 문제를 완화하기 때문이다.

결론적으로, 이 논문은 “복잡한 모델이 반드시 높은 성능을 보장한다”는 기존 인식을 뒤집으며, 단순한 확률적 유사도와 최소 파라미터 튜닝만으로도 실용적인 저자 동명 구분이 가능함을 실증한다. 향후 연구에서는 특징 가중치 학습, 블록 간 상호작용 모델링, 그리고 실시간 스트리밍 데이터에 대한 확장성을 탐색할 여지가 있다.