짧은 텍스트의 복합 네트워크 토폴로지 분석

초록

본 연구는 책 전체를 네트워크로 변환하는 기존 방식 대신, 책을 짧은 연속 구간(서브텍스트)으로 나누어 각 구간을 단어 인접 네트워크로 모델링한다. 50편의 소설을 대상으로 클러스터링 계수, 평균 경로 길이, 접근성 등 전통적인 토폴로지 지표들의 변동성을 조사했으며, 대부분의 지표가 서브텍스트 길이가 1 000~2 000단어 정도일 때 안정적임을 확인했다. 저자 식별 실험에서는 서브텍스트 기반 SVM 분류가 전체 텍스트 기반 분류보다 높은 정확도를 보였으며, 이는 지역적 토폴로지 정보가 전역 특성을 보완한다는 점을 시사한다.

상세 분석

이 논문은 복합 네트워크 이론을 텍스트 분석에 적용하는 방법론을 확장한다. 기존 연구는 주로 전체 책이나 장편 텍스트를 대상으로 단어 인접 네트워크를 구축하고, 그 위에서 작은 세계(small‑world)·스케일 프리(scale‑free) 특성을 확인했다. 그러나 실제 응용에서는 제한된 길이의 텍스트만 이용 가능한 경우가 많으며, 이때 통계적 변동이 결과를 왜곡할 위험이 있다. 저자는 이러한 문제를 해결하기 위해 전체 소설을 겹치지 않는 연속 구간으로 샘플링하고, 각 구간을 독립적인 네트워크로 변환하였다.

주요 토폴로지 지표로는 클러스터링 계수(C), 평균 이웃 차수(kₙ), 접근성(α), 평균 최단 경로 길이(l), 매개 중심성(B), 그리고 단어 출현 간격의 불규칙성을 나타내는 간헐성(I)을 사용했다. 각 지표의 평균값과 표준편차를 구해 구간 길이에 따른 변동성을 정량화했으며, 1 000~2 000단어 구간에서는 대부분의 지표가 전체 텍스트와 거의 동일한 평균값을 유지하고, 변동폭도 충분히 작아 통계적 신뢰성을 확보할 수 있음을 보였다.

저자 식별 실험에서는 50편 소설을 10‑fold 교차 검증으로 평가했으며, k‑최근접 이웃(kNN), 결정 트리(C4.5), 베이즈, 서포트 벡터 머신(SVM) 네 가지 분류기를 적용했다. 특히 SVM이 가장 높은 정확도를 기록했는데, 이는 고차원 토폴로지 특징이 선형 혹은 비선형 커널을 통해 효과적으로 구분 경계를 형성하기 때문이다. 흥미롭게도, 전체 텍스트를 이용한 동일 모델보다 서브텍스트 기반 모델이 평균 2~3% 높은 정확도를 보였으며, 이는 지역적 토폴로지 정보가 저자 고유의 스타일을 더 명확히 드러낸다는 해석이 가능하다.

또한, 저자는 네트워크 기반 분석이 시간에 따라 변하는 텍스트(예: 대화, 뉴스 피드)에도 적용 가능하다고 제안한다. 서브텍스트를 연속적으로 슬라이딩 윈도우 방식으로 추출하면, 시간에 따른 토폴로지 변화를 추적할 수 있어, 스타일 변천, 주제 전환, 혹은 감정 흐름 등을 정량화하는 새로운 도구가 될 수 있다.

결론적으로, 짧은 텍스트에서도 복합 네트워크 토폴로지 측정값이 안정적이며, 이를 활용한 저자 식별 및 스타일 분석이 전통적인 전체 텍스트 기반 방법보다 우수할 수 있음을 실증하였다. 이는 텍스트 마이닝, 저작권 보호, 디지털 인문학 등 다양한 분야에서 짧은 문서나 실시간 스트림 데이터를 효과적으로 처리할 수 있는 이론적·실용적 기반을 제공한다.