동적 커뮤니티 구조를 이용한 시퀀스와 시간 네트워크 모델링

본 연구는 복잡계에서 나타나는 시간적 상호작용을 두 가지 관점—시퀀스와 시간 네트워크—으로 통합적으로 모델링하고자 한다. 기존 방법들은 정적 커뮤니티 탐지에 머물거나, 사전에 정의된 시간 윈도우를 사용해 동적 구조를 강제로 나누는 한계가 있었다. 이러한 접근법은 과적합을 초래하거나, 실제 시스템이 가지고 있는 고유의 시간 스케일을 놓치는 위험이 있다. 저자들은 이를 해결하기 위해 “임의 차수 마코프 체인에 커뮤니티 구조를 부여한 모델”을 제안한다. 구체적으로, 관측된 토큰 x_t (예: 단어, 공항, DNA 염기 등)와 그 이전 n개의 토큰으로 구성된 메모리 x_{t‑1} = (x_{t‑1},…,x_{t‑n}) 를 각각 B_N, B_M개의 그룹에 할당한다. 전이 확률 p(x|x_{t‑1})는 두 단계로 분해된다. 첫 단계는 메모리 그룹 s → 토큰 그룹 r 로의 전이 확률 λ_{rs}이며, 두 번째 단계는 같은 그룹에 속한 토큰들 사이의 상대 빈도 θ_x 로 표현된다. 이 구조는 기존의 차수‑n 마코프 체인에서 파라미터 수가 O(N^{n+1}) 로 급증하는 문제를, 그룹‑레벨 파라미터 O(B_N · B_M) 로 압축한다. 베이지안 프레임워크를 도입해 파라미터 λ와 θ에 비정보적 사전(Dirichlet 형태)을 부여하고, 그룹 할당 b와 그룹 크기 e_s 에 대해서도 계층적 사전을 적용한다. 전체 모델의 증거는 P(데이터, 모델) = ∫ P(데이터|λ,θ,b) P(λ,θ|α,β) P(b) P(e_s) dλ dθ 로 정의되며, 이를 로그 변환한 설명 길이 Σ = –log₂ P(데이터, 모델) 를 최소화한다. Σ는 (1) 데이터 적합도(조건부 엔트로피 감소)와 (2) 모델 복잡도(그룹 수, 전이 행렬 파라미터) 사이의 트레이드오프를 정확히 반영한다. 따라서 차수 n, 그룹 수 B_N, B_M 를 사전에 지정하지 않아도, 데이터가 제공하는 최적값을 자동으로 선택한다. 이론적으로는 제안 모델이 확률적 블록 모델(Stochastic Block Model, SBM)과 동등함을 증명한다. 즉, 시간 네트워크의 경우 토큰은 엣지(노드 쌍)이며, 메모리는 이전 엣지들의 조합이 된다. 따라서 네트워크 토폴로지와 동적 흐름을 동시에 설명하는 것이 가능해진다. 또한, 계층적 사전은 다중 스케일 커뮤니티를 자연스럽게 탐지하게 하며, 과소적합을 방지한다. 실험에서는 다음과 같은 데이터셋을 분석하였다. (1) 텍스트 코퍼스(예: “It was the best of times”); (2) 미국 항공편 이력(수백만 건의 승객 여정); (3) DNA 서열; (4) 기타 사회적 상호작용 시퀀스. 각 데이터에 대해 차수 n=0~4와 다양한 그룹 수를 탐색했으며, 최소 설명 길이를 갖는 모델을 선택했다. 결과는 모두 기존 1차 마코프 모델 대비 설명 길이가 크게 감소했으며, 특히 고차 메모리와 다중 커뮤니티가 통계적으로 유의미함을 보여준다. 무작위 셔플 테스트에서는 모델이 자동으로 n=1, B_N=B_M=1 (완전 무작위)으로 수렴함을 확인, 과적합 위험이 없음을 입증했다. 항공편 데이터에서는 3차 메모리 모델이 최적이며, 메모리 (이전 공항, 현재 공항, 다음 공항) 조합이 특정 허브 공항(예: ATL, LAS) 주변에서 강하게 클러스터링되는 것을 발견했다. 이는 실제 항공 네트워크의 지역적 연결성 및 승객 이동 패턴을 반영한다. 텍스트 데이터에서는 주제별 단어 그룹이 형성되어, 고차 문맥 정보를 포착함을 확인했다. 알고리즘적으로는 기존 SBM 추론 알고리즘(예: MCMC 기반 최적화)을 그대로 적용함으로써, 시간 복잡도가 O(E log N) 로 유지된다. 여기서 E는 관측된 전이(또는 엣지) 수이며, N은 토큰(또는 노드) 수이다. 따라서 수백만 규모의 데이터에도 실시간에 가까운 분석이 가능하다. 결론적으로, 이 논문은 “동적 커뮤니티 구조를 갖는 임의 차수 마코프 체인”이라는 새로운 모델을 제시하고, 비모수 베이지안 방법을 통해 모델 선택, 차수 추정, 커뮤니티 탐지를 통합적으로 수행한다. 과적합 방지와 데이터 기반 시간 스케일 추출이라는 두 핵심 문제를 동시에 해결함으로써, 복잡계 네트워크와 그 위의 동적 과정을 분석하는 강력하고 확장 가능한 도구를 제공한다.