웹 문서 코퍼스를 활용한 개체명 인식

초록

본 논문은 웹에서 수집한 문서 코퍼스를 학습 자료로 이용해, 명사 앞뒤에 나타나는 주변 단어(컨텍스트)를 정량화하고 가중치를 부여함으로써 개체명(Named Entity, NE)을 분류하는 새로운 접근법을 제안한다. tf‑idf 기반의 수정된 가중치 모델을 사용해 컨텍스트의 중요도를 계산하고, 이를 의사결정트리(C4.5)와 결합해 NE 클래스를 자동 판별한다. 실험에서는 ‘대통령’, ‘수도’, ‘축구선수’ 등 여러 NE 유형에 대해 높은 정확도를 보였다.

상세 분석

이 연구는 기존의 규칙 기반 혹은 사전(가제트) 의존형 개체명 인식 방법과 달리, 완전한 비지도 학습이 아닌 ‘양성 학습 예시’를 활용한 반지도 학습 프레임워크를 채택한다. 먼저 사용자가 특정 NE 클래스(예: 질병, 축구선수, 대통령)의 대표 인스턴스를 제공하면, 이 인스턴스를 키워드로 삼아 주요 검색 엔진(Yahoo, Google 등)에서 자동으로 웹 문서를 수집한다. 수집된 문서는 원문 그대로 저장되며, 각 문서에서 인스턴스 앞·뒤에 위치한 단어들을 ‘컨텍스트 후보’로 추출한다.

핵심은 이 컨텍스트 후보들의 정량적 가치를 어떻게 산출하느냐에 있다. 저자는 전통적인 tf‑idf 방식을 변형해 네 가지 빈도 지표를 정의한다. ① 컨텍스트 빈도(cf) – 전체 코퍼스에서 해당 컨텍스트가 등장한 총 횟수 대비 비율; ② 학습 예시 빈도(lef) – 학습 예시와 함께 등장한 컨텍스트의 횟수 비율; ③ 문서 빈도(df) – 해당 컨텍스트를 포함하는 문서 수 대비 비율; ④ 역컨텍스트 빈도(icf) – 컨텍스트가 다른 구문과 함께 등장한 비율의 역수이다. 이 네 지표를 곱셈 형태로 결합해 컨텍스트 가중치(w) 를 산출한다(식 8).

가중치가 높은 컨텍스트는 해당 NE 클래스를 식별하는 데 핵심적인 신호로 간주된다. 이후 저자는 C4.5 의사결정트리를 이용해 각 컨텍스트를 특성(feature)으로 삼아 분류 모델을 학습한다. 트리의 각 노드에서는 컨텍스트가 나타날 때마다 사전 정의된 ‘투표(vote)’ 값을 가중치만큼 누적하고, 누적된 투표가 사전 설정된 임계값을 초과하면 해당 NE 클래스로 판정한다.

실험에서는 ‘수도’라는 NE 클래스를 대상으로 65개의 URL에서 13개의 수도 이름을 학습 예시로 사용해 2,398개의 2‑단어 컨텍스트를 추출하였다. 표 1에 제시된 바와 같이 “Hotels in”, “Map of” 등은 높은 cf·df·lef·icf 값을 보이며, 가중치가 가장 큰 “Hotels in” 컨텍스트가 수도 이름 인식에 가장 큰 기여를 함을 확인했다. 또한 ‘대통령’ 클래스에 대해 89개의 변형된 대통령 이름을 학습 예시로 사용한 결과, 컨텍스트 수와 코퍼스 규모가 증가할수록 가중치 분포가 안정화되고, 정확도가 향상되는 경향을 보였다.

이 접근법의 장점은 (1) 사전 구축 비용을 크게 절감한다는 점, (2) 언어에 독립적인 컨텍스트 기반 특징을 활용해 다국어 적용이 가능하다는 점, (3) tf‑idf 변형을 통한 정교한 가중치 설계가 잡음이 많은 웹 데이터에서도 유의미한 신호를 추출한다는 점이다. 반면, (가) 컨텍스트가 좌우 대칭적으로 고려되지 않아 오른쪽 컨텍스트의 활용 가능성을 놓쳤다는 점, (나) 학습 예시가 충분히 다양하지 않을 경우 희소성 문제로 가중치가 왜곡될 위험이 있다는 한계도 존재한다. 향후 연구에서는 양방향 컨텍스트 통합, 심층 신경망 기반 가중치 학습, 그리고 부정 예시(negative examples) 자동 생성 메커니즘을 도입해 모델의 일반화 능력을 강화할 필요가 있다.