더 깨끗한 텍스트를 위한 통합 점수 향상 기법

초록

본 논문은 온·오프라인 텍스트에서 발생하는 맞춤법 오류, 약어, 대소문자 오류를 동시에 정정하기 위해 기존 ISSAC(Integrated Scoring for Spelling error correction, Abbreviation expansion and Case restoration)을 개선하였다. 700개의 채팅 기록을 대상으로 수행한 실험에서 정확도가 96.5%에서 98%로 상승했으며, 기존 Aspell 기반 방법보다 크게 우수함을 보였다.

상세 분석

ISSAC은 스펠링 교정기 Aspell이 제시하는 후보군에 약어 사전과 원문 자체를 추가하고, 여섯 가지 가중치를 적용해 최종 점수를 산출하는 통합 정정 프레임워크이다. 본 연구는 기본 ISSAC이 96.5%의 정확도를 보였지만, 실제 온라인 채팅과 같은 ‘더러운’ 텍스트에서는 여전히 오탐과 누락이 발생한다는 점을 지적한다. 이를 해결하기 위해 저자들은 다음과 같은 세 가지 주요 개선점을 제시한다. 첫째, 도메인 특화 코퍼스를 활용한 도메인 중요도(DS)와 일반 중요도(GS) 가중치를 보다 정교하게 계산한다. 기존에는 단순 빈도 비율만을 사용했지만, 새 버전은 주변 단어(l, r)의 문맥 정보를 고려해 가중치를 동적으로 조정한다. 둘째, 재사용 팩터(RF)를 확장하여 이전 교정 이력을 보다 효율적으로 조회한다. 교정 히스토리를 캐시하고, 동일 오류가 반복될 경우 높은 점수를 부여함으로써 일관된 교정 결과를 확보한다. 셋째, 약어 확장 단계에서 외부 웹 서비스(www.stands4.com)를 연동해 최신 약어·정식 표현을 실시간으로 획득하고, 로컬 사전에 저장한다. 이 과정은 약어 사전의 최신성을 유지함과 동시에, 약어가 아닌 일반 단어와의 혼동을 최소화한다.
평가에서는 700개의 실제 채팅 로그를 7개의 서로 다른 데이터셋으로 나누어 교차 검증을 수행하였다. 각 데이터셋에 대해 기본 ISSAC, 향상된 ISSAC, 그리고 Aspell만을 적용한 결과를 비교했으며, 향상된 ISSAC이 평균 98%의 정확도를 달성했다. 특히, 대소문자 오류와 약어 확장에서 기존 방법보다 5~7%p의 개선을 보였으며, 스펠링 오류만을 대상으로 한 Aspell은 71%에 머물렀다. 이는 통합 접근법이 개별 정정 기법보다 전체 텍스트 정제에 더 효과적임을 실증한다.
한계점으로는 도메인 코퍼스 구축 비용과 외부 웹 서비스 의존성이 있다. 도메인 특화 코퍼스가 충분히 크지 않을 경우 DS와 GS 가중치가 불안정해질 수 있으며, 웹 서비스 장애 시 약어 확장이 중단될 위험이 존재한다. 또한, 현재 구현은 영어 텍스트에 국한되어 있어 다국어 환경에서는 추가 연구가 필요하다. 향후 연구에서는 다중 언어 지원, 실시간 스트리밍 텍스트에 대한 적용, 그리고 딥러닝 기반 문맥 모델을 가중치 산출에 통합하는 방안을 제시한다.