전자 텍스트에서 수동 보일러플레이트 제거: 프로젝트 구텐베르크 전자책 실험

초록

프로젝트 구텐베르크 전자책에 삽입된 서문·에필로그와 같은 반복적인 보일러플레이트를 통계적 빈도 분석으로 자동 탐지한다. 규칙 기반 파싱의 유지비용을 크게 낮추고, 영어 지식이 필요한 일부 사례를 제외하고는 대부분 자동으로 처리한다.

상세 분석

이 논문은 대규모 문헌 코퍼스에서 흔히 발견되는 ‘보일러플레이트’(preamble, epilogue, 저작권 고지 등)를 자동으로 식별·제거하는 방법론을 제시한다. 기존의 규칙 기반 파싱은 템플릿이 사용자마다, 시기마다 달라지는 특성 때문에 유지보수가 비효율적이며, 새로운 문서가 추가될 때마다 파싱 규칙을 수정해야 하는 단점이 있다. 저자들은 이러한 문제를 해결하기 위해 빈도 기반 통계 모델을 도입한다. 구체적으로, 전체 코퍼스에서 2‑gram, 3‑gram 등 n‑gram의 출현 빈도를 계산하고, 특정 구간(예: 파일 시작 200줄, 파일 끝 200줄)에서 높은 빈도를 보이는 문자열을 후보 보일러플레이트로 선정한다. 이후 후보 문자열을 클러스터링하여 동일하거나 유사한 템플릿을 하나의 그룹으로 묶고, 각 그룹에 대해 대표 패턴을 추출한다.

핵심 기술은 (1) 빈도 임계값 설정 – 전체 코퍼스 대비 특정 구간에서의 상대 빈도가 일정 수준을 초과하면 보일러플레이트 후보로 간주한다. (2) 문맥 기반 필터링 – 빈도가 높은 문자열이라도 실제 텍스트 내용에 포함될 가능성이 있는 경우(예: 흔히 쓰이는 문구)에는 추가적인 언어 모델(예: 영어 단어 사전)으로 검증한다. (3) 다중 패턴 병합 – 동일 템플릿이 약간씩 변형된 경우(예: 연도, 저자명 삽입)에도 Levenshtein 거리 기반 유사도 측정을 통해 하나의 패턴으로 통합한다.

실험 결과, 전체 30,000여 권의 구텐베르크 전자책 중 92% 이상에서 보일러플레이트를 정확히 식별했으며, 오탐률은 3% 미만에 머물렀다. 특히, ‘*** START OF THIS PROJECT GUTENBERG EBOOK ***’와 같은 표준 헤더는 거의 완벽히 잡아냈다. 반면, 저자별로 직접 작성한 서문이나, 영어가 아닌 언어로 된 서문은 언어 모델의 한계로 인해 일부 누락되었다. 이러한 경우는 인간 검토가 필요하지만, 전체 작업량을 80% 이상 감소시켰다.

또한, 저자들은 분산 처리 프레임워크(Hadoop/Spark) 를 활용해 수십 GB 규모의 텍스트 데이터를 효율적으로 전처리하고, 빈도 계산과 클러스터링을 병렬화함으로써 실행 시간을 크게 단축했다. 이와 같은 기술 스택은 향후 다른 대규모 문서 코퍼스(예: 소스 코드 저장소, 법률 문서)에도 그대로 적용 가능함을 시사한다.

결론적으로, 통계 기반 보일러플레이트 탐지는 규칙 기반 접근법의 유지보수 비용을 크게 절감하고, 새로운 템플릿이 등장해도 자동으로 적응할 수 있는 유연성을 제공한다. 다만, 언어적 이해가 필요한 경우(예: 의미상 중요한 서문)에는 보조적인 언어 모델이나 인간 검토가 여전히 필요하다.