웹 문서에서 추출한 개념 네트워크의 동적 구조와 안정성 연구

본 논문은 “동적 개념 네트워크”라는 새로운 연구 프레임워크를 제시한다. 연구자는 먼저 21일 동안 55 000개의 웹 문서를 수집하고, 이들 문서에서 인물·기업·지명 등 의미 있는 개념을 자동으로 추출한다. 추출 알고리즘은 사전 기반 매칭과 정규표현식 템플릿을 결합한 방식으로, 기업명은 ‘Inc·Corp·Ltd·Company’와 같은 접미사 테이블을, 인명은 허용 가능한 성·이름 리스트와 이니셜 조합 규칙을 활용한다. 이렇게 식별된 개념은 네트워크의 노드가 되고, 동일 문서 내에 동시에 등장한 개념 쌍은 가중치(공동 등장 횟수)를 갖는 엣지로 연결된다. 엣지 가중치가 2 미만인 경우는 노이즈로 판단해 제외한다. 네트워크 분석에서는 복합 네트워크 이론의 주요 지표를 적용한다. 평균 역거리(⟨1/d⟩)는 모든 노드 쌍 사이의 최단 거리 역수 평균으로 정의되며, 이는 네트워크가 얼마나 촘촘히 연결되어 있는지를 나타낸다. 실험 결과, 문서 수가 증가함에 따라 ⟨1/d⟩는 급격히 상승하다가 약 0.65 수준에서 포화한다. 군집계수(C)는 각 노드의 이웃들 사이에 실제 존재하는 엣지 수와 가능한 최대 엣지 수의 비율로, 네트워크 내 클러스터 형성 정도를 측정한다. C 역시 문서 수가 1 000에서 50 000까지 늘어날 때 0.78 ± 0.01 수준으로 수렴한다. 이는 일정 규모 이상의 문서 흐름이 네트워크 구조를 안정화시킨다는 중요한 발견이다. 차수 분포(P(k))를 살펴보면, 초기에는 스케일‑프리 네트워크에서 흔히 보이는 파워‑로우 형태가 나타난다. 그러나 문서가 많아질수록 ‘우연적 접촉’이 증가하면서 차수 분포는 포아송 분포에 가까워진다. 이는 문서 기반 공동 등장 데이터가 실제 사회적 관계와는 다소 차이가 있음을 시사한다. 베터니스(b)와 차수(k)의 관계를 분석한 결과, 높은 차수를 가진 노드가 대부분 높은 베터니스를 보이며, 이들 노드가 네트워크 내 정보 흐름의 핵심 허브 역할을 수행한다는 점을 확인한다. 네트워크의 노이즈 문제를 해결하기 위해 저자는 ‘초격자 네트워크’를 제안한다. 이는 원래 네트워크의 엣지 가중치 v에 대해 임계값 ε를 적용해 새로운 가중치 v′=max(v,ε)로 재정의하는 방법이다. ε를 0.001로 설정했을 때, 50명의 인물과 1 000~50 000개의 문서에 대해 C와 ⟨1/d⟩가 각각 0.78 ± 0.01, 0.65 ± 0.02로 거의 변하지 않음이 확인되었다. 즉, 초격자 네트워크는 입력 문서 규모에 크게 좌우되지 않는 구조적 안정성을 제공한다. 논문의 마지막에서는 몇 가지 한계와 향후 과제를 제시한다. 첫째, 문서 내 공동 등장 빈도가 실제 사회적·경제적 관계를 얼마나 정확히 반영하는지에 대한 검증이 부족하다. 둘째, ε 값 선택이 경험적이며 도메인에 따라 최적값이 달라질 수 있다. 셋째, 초격자 네트워크에서 제외된 ‘우연적 접촉’이 전체 네트워크 구조에 미치는 영향을 정량적으로 분석하지 않았다. 이러한 점들을 보완한다면, 실시간 여론 모니터링, 기업 평판 관리, 정책 영향 분석 등 다양한 분야에 적용 가능한 강력한 도구가 될 것으로 기대된다.