범위 기반 학습과 정보 추출 및 분류에의 적용

초록

전역 특징과 페이지별(범위 제한) 특징을 동시에 활용하는 계층적 확률 모델을 제안한다. 각 웹 페이지마다 숨겨진 로컬 파라미터를 도입해 페이지 특유의 형식 정보를 자동으로 추정하고, 이를 전역 단어 내용과 결합해 라벨을 예측한다. 정확한 추론이 어려워 점추정과 변분 방법으로 근사하고, 대규모 웹 데이터 실험에서 기존 전역 모델만 사용할 때보다 현저히 높은 정확도를 달성한다.

상세 분석

이 논문은 정보 추출과 텍스트 분류 작업에서 흔히 간과되는 “범위 제한(local) 특징”을 체계적으로 모델링하려는 시도를 제시한다. 전통적인 베이즈식 분류기나 CRF와 같은 전역 모델은 훈련 데이터와 동일한 통계적 규칙이 테스트 데이터에도 그대로 적용된다고 가정한다. 그러나 웹 페이지와 같이 구조가 다양하고 형식이 페이지마다 달라지는 환경에서는, 예를 들어 글꼴, 색상, HTML 태그와 같은 형식적 신호가 특정 페이지 내에서만 일관된 의미를 갖는다. 이러한 로컬 규칙을 무시하면 모델의 예측력이 크게 저하된다.

논문은 이를 해결하기 위해 두 단계의 확률 구조를 도입한다. 첫 번째 단계는 전역 변수 θ 를 정의해 단어 내용(word)과 같은 전역 특징의 확률 분포를 기술한다. 두 번째 단계에서는 각 로컬 데이터 집합(예: 하나의 웹 페이지)마다 독립적인 숨겨진 파라미터 φ_d 를 샘플링한다. φ_d 는 해당 페이지의 형식(feature)와 라벨 사이의 조건부 확률을 결정한다. 즉, φ_d 는 “이 페이지에서는 굵은 글씨가 사람 이름을 나타낸다”와 같은 페이지 특유의 규칙을 캡처한다.

생성 과정은 다음과 같다. 먼저 전역 파라미터 θ 를 사전분포에서 샘플링하고, 각 페이지 d에 대해 로컬 파라미터 φ_d 를 사전에서 샘플한다. 그 후 페이지 d의 각 토큰 i에 대해 (1) 라벨 y_{di} 를 θ 와 φ_d 에 조건부로 샘플하고, (2) 관측 단어 w_{di} 와 형식 f_{di} 를 각각 라벨에 의존하는 분포에서 생성한다. 이 구조는 전역과 로컬 정보를 자연스럽게 결합한다는 장점을 가진다.

하지만 정확한 사후분포 p(θ, {φ_d} | data) 는 고차원 적분 때문에 계산이 불가능하다. 저자는 두 가지 근사 전략을 제시한다. 첫 번째는 MAP(최대 사후 확률) 추정으로, EM 알고리즘을 이용해 φ_d 를 “점 추정”하고, 이를 고정한 채 θ 를 업데이트한다. 이 과정은 각 페이지마다 독립적인 로컬 파라미터를 빠르게 추정할 수 있어 실시간 적용에 유리하다. 두 번째는 변분 베이즈 접근법으로, φ_d 와 θ 에 대한 완전한 분포를 가정하고, 평균장(mean-field) 근사를 통해 ELBO를 최대화한다. 변분 방법은 불확실성을 유지하면서도 파라미터 간 상호작용을 보다 정교하게 반영한다.

실험에서는 대규모 웹 크롤링 데이터(수십만 페이지, 수백만 토큰)를 사용해 두 가지 태스크—(1) 페이지 내 엔터티 추출, (2) 페이지 레벨 카테고리 분류—를 평가한다. 베이스라인으로는 전통적인 전역 나이브 베이즈와 CRF, 그리고 페이지별 독립 학습 모델을 포함한다. 결과는 로컬 파라미터를 도입한 모델이 전역만 사용하는 모델에 비해 F1 점수에서 평균 5~8%p 상승을 보였으며, 특히 형식 정보가 강하게 변동하는 페이지에서 그 차이가 두드러졌다. 또한 변분 베이즈 버전이 점추정 버전보다 약간 높은 정확도를 기록했지만, 계산 비용이 더 크게 소요되는 trade‑off가 존재한다.

이 논문의 핵심 통찰은 “하나의 전역 모델에 로컬 파라미터를 계층적으로 결합함으로써, 새로운 데이터에 도달했을 때 자동으로 해당 데이터의 특수 규칙을 학습하고 적용할 수 있다”는 점이다. 이는 도메인 적응(domain adaptation)이나 메타 학습(meta‑learning)과도 연관되며, 특히 구조가 다양하고 라벨링 비용이 높은 웹 기반 정보 추출에 실용적인 해결책을 제공한다.