디지털 사전 오류 탐지를 위한 랜덤 포레스트 시스템 결합 접근법

본 논문은 인쇄된 양언어 사전을 디지털화하는 과정에서 발생하는 오류를 자동으로 탐지하기 위한 시스템을 제안한다. 디지털 사전은 OCR이나 수작업 입력을 통해 XML 형태로 변환되는데, 이 과정에서 구조적 오류, 의미 오류, 태그 누락 등 다양한 문제가 발생한다. 기존에는 전문가가 DML(디지털 마크업 언어)을 사용해 수동으로 수정했지만, 이는 시간과 비용이 많이 드는 작업이다. 따라서 오류 탐지를 자동화하고, 이를 통해 사전 품질을 향상시키고자 한다. 연구진은 세 가지 개별 탐지 방법을 설계하였다. 첫 번째는 지도학습 기반 특징 추출기로, SVM(Light)와 선형 커널을 사용한다. XML 트리를 깊이 우선 탐색하면서 각 서브트리의 태그 시퀀스를 unigram·bigram 형태로 특징화하고, 이를 기반으로 오류(비정상)와 정상 노드를 분류한다. 두 번째는 규칙 기반 비지도 방법(RULE)이다. 사전 전체에서 서브트리 구조 A의 발생 확률 P(A)를 추정하고, 이상점수 = 1‑P(A) (구조가 드물게 나타날 경우) 혹은 P(A) (구조가 자주 나타나는데 누락된 경우) 로 정의한다. 서브트리 전체에 대해 최대 이상점수를 채택해 최종 점수를 산출한다. 세 번째는 언어 모델 기반 비지도 방법(LM)으로, XML 브랜치를 평탄화한 뒤 bigram 언어 모델을 학습한다. 각 브랜치의 로그 확률을 계산하고, 상위 1000개를 오류 후보로, 나머지는 정상으로 분류한다. 실험 데이터는 Urdu‑English 사전(Qureshi & Haq, 1991)을 디지털화한 XML이며, 전문가가 DML 명령을 통해 수정한 결과를 ‘오류’ 라벨로 사용했다. 전체 15,808개의 ENTRY와 78,919개의 SENSE 중 각각 47.53%와 10.79%가 오류로 표시되었다. 평가 계층은 ENTRY와 SENSE 두 수준으로 나누어 진행했으며, 10‑fold 교차 검증을 적용했다. 개별 방법의 성능을 살펴보면, ENTRY 레벨에서는 RULE이 가장 높은 F1(≈69.42)과 정확도(≈91.96)를 기록했고, SENSE 레벨에서는 FV(특징 기반)가 F1≈83.54, 정확도≈96.92로 최고였다. LM은 높은 재현율(ENTRY 11.97, SENSE 9.85)에도 불구하고 정밀도가 낮아 전반적인 F1가 낮았다. 다음으로 세 가지 결합 방법을 비교했다. (1) 다수결은 각 방법의 성능 차이를 반영하지 못해 낮은 정확도와 F1를 보였다. (2) 점수 합산은 z‑score 정규화 후 합산했지만, 스코어 범위 차이와 가중치 설정의 어려움으로 제한적이었다. (3) 랜덤 포레스트는 각 방법의 출력 점수를 피처로 사용해 12개의 결정 트리를 구성했으며, 트리마다 하나의 피처만 사용하도록 설계했다. 이 메타‑학습은 자동으로 가중치를 학습하고, 오류와 정상 노드 사이의 복잡한 경계도 효과적으로 구분한다. 랜덤 포레스트 결합 결과는 모든 계층에서 가장 높은 성능을 달성했다. ENTRY 레벨에서는 정확도가 4.34~6.39%p 상승하고, F1이 3.64~11.39%p 향상되었다. 특히 RULE만을 사용한 랜덤 포레스트(RULE+RF)도 단독 RULE보다 현저히 좋은 결과를 보여, RULE 점수 자체가 잘 구분되지만 단순 임계값(0.9)만으로는 오분류가 발생함을 확인했다. 랜덤 포레스트는 이러한 오분류 영역을 학습 데이터 기반으로 재조정한다. 또한 비지도 방법(RULE, LM)만을 결합한 경우에도 지도학습 기반 FV보다 높은 성능을 얻었으며, 모든 세 방법을 결합했을 때의 최고 성능과 거의 차이가 없었다. 이는 라벨링 비용이 높은 사전 구축 상황에서 비지도 방법만으로도 충분히 효과적인 오류 탐지가 가능함을 시사한다. 랜덤 포레스트 학습에 필요한 라벨링 데이터 양을 조사한 결과, 전체 데이터의 0.1%~10% 정도만 사용해도 성능 저하가 거의 없었다. 특히 오류 가능성이 높은 노드(예: RULE 이상점수 >0.9)를 우선 선택해 학습 데이터로 활용하면 약간의 성능 향상이 관찰되었지만, 표준편차 범위 내에 머물러 선택 전략의 최적화가 필요하다. 결론적으로, 이 연구는 (1) 규칙 기반, 특징 기반, 언어 모델 기반의 서로 다른 특성을 가진 오류 탐지 방법을 체계적으로 비교·조합, (2) 랜덤 포레스트를 통한 메타‑학습이 가장 효과적인 결합 기법임을 실증, (3) 비지도 방법만으로도 지도학습 수준의 성능을 달성할 수 있음을 보여준다. 향후 연구에서는 (a) 자동으로 의미 있는 평가 계층을 추출하는 방법, (b) 다른 언어·사전 구조에 대한 일반화 검증, (c) 액티브 러닝 기반의 최적 라벨링 샘플 선택 전략 등을 탐구할 필요가 있다.