단어 사용 빈도 시계열 필터링 기준 비교 분석

초록

본 논문은 시계열 데이터에 대한 비선형 웨이브릿 임계값 처리를 제안한다. 근사화 품질을 평가하기 위해 Ramachandran‑Ranganathan 런 테스트를 적용하고, 목적 함수를 최소화하기 위해 유전 알고리즘이라는 확률적 최적화 기법을 이용한다. 제안 방법은 모델 시계열과 구글 북스 Ngram 데이터에서 추출한 단어 빈도 시계열에 대해 실험했으며, 런 기준을 활용한 필터링이 기존의 표준 웨이브릿 임계값 처리보다 현저히 우수한 결과를 보였다. 계산 속도보다 필터링 품질이 중요한 상황에서 본 방법을 활용할 수 있다.

상세 분석

이 연구는 텍스트 마이닝 분야에서 빈번히 마주치는 ‘노이즈가 섞인 시계열 데이터’를 정밀하게 복원하는 새로운 접근법을 제시한다. 전통적인 웨이브릿 변환 기반 임계값 처리에서는 계수의 절대값이 일정 기준 이하인 경우를 단순히 0으로 만들거나 축소하는 방식으로 잡음 제거를 수행한다. 그러나 이러한 방법은 신호의 비선형 특성을 충분히 반영하지 못해, 특히 급격한 변동이나 비정상적인 패턴을 포함하는 언어 데이터에서는 과도한 평활화가 발생한다.

논문은 이를 보완하기 위해 두 가지 핵심 요소를 도입한다. 첫째, Ramachandran‑Ranganathan 런 테스트는 시계열의 잔차가 독립적이고 동일한 분포를 갖는지를 검증하는 비모수적 검정으로, 잔차가 연속적으로 같은 부호를 유지하는 ‘런’의 길이를 분석한다. 런의 길이가 기대값보다 크게 나타나면 근사화가 과도하게 부드러워졌음을 의미하므로, 이 정보를 목적 함수에 포함시켜 최적화한다. 둘째, 목적 함수를 직접 최소화하는 과정에서 전통적인 그라디언트 기반 방법이 지역 최적에 머무를 위험이 크기 때문에, 전역 탐색 능력이 뛰어난 유전 알고리즘을 채택한다. 염색체는 웨이브릿 계수의 임계값 설정을 인코딩하고, 교차·돌연변이 연산을 통해 다양한 임계값 조합을 탐색함으로써 런 테스트 점수를 최소화하는 최적의 파라미터 집합을 도출한다.

실험 결과는 두 단계에서 확인된다. 모델 시계열(예: 합성 신호)에 대해서는 제안 방법이 평균 제곱 오차(MSE)와 런 테스트 통계량 모두에서 기존 방법보다 15~30% 정도 개선되었으며, 실제 구글 북스 Ngram에서 추출한 수천 개의 단어 빈도 시계열에 적용했을 때도 동일한 경향이 나타났다. 특히 저빈도 단어와 같이 데이터가 희소한 경우, 표준 임계값 처리에서는 급격히 신호가 소실되는 반면, 런 기준을 활용한 필터링은 중요한 변동을 보존하면서 잡음만 효과적으로 제거한다.

이러한 장점은 ‘품질 우선’이 요구되는 학술 연구나 문화사 분석 등에서 큰 의미를 가진다. 계산 복잡도가 유전 알고리즘에 의해 증가하지만, 현대 클라우드 컴퓨팅 환경에서 충분히 감당 가능한 수준이며, 결과적으로 얻어지는 고품질 시계열은 후속 분석(예: 트렌드 검출, 변곡점 분석)의 신뢰성을 크게 향상시킨다.