동적 네트워크에서 실시간 포인트 프로세스 추적과 온라인 학습

본 논문은 “동적 네트워크 상의 포인트 프로세스 추적”이라는 문제를 다루며, 특히 사회·생물·금융·전염병·지진 등 다양한 분야에서 관측되는 이벤트 흐름을 모델링하고 예측하는 데 초점을 맞춘다. 저자들은 이러한 현상을 멀티베리어트 Hawkes 프로세스로 수학화한다. Hawkes 모델은 각 노드 k의 순간 발생률 μₖ(t)를 베이스라인 \(\bar μₖ\)와 과거 이벤트들의 영향 hₖ₁,ₖ₂(·)의 합으로 표현한다(식 2). 여기서 hₖ₁,ₖ₂(·)는 시간 지연에 따라 감소하는 함수이며, 네트워크 연결 강도 Wₖ₁,ₖ₂와 곱해져 영향을 전달한다(식 3). 핵심 과제는 (1) 각 노드의 시간 가변 발생률 μₖ(t)를 실시간으로 추정하고, (2) 네트워크 가중치 행렬 W를 동시에 학습하며, (3) 데이터가 스트리밍 형태로 지속적으로 들어오는 환경에서도 계산 효율성을 유지하는 것이다. 기존 연구는 주로 배치 방식(EM, Bayesian)이나 대규모 버퍼를 필요로 하는 온라인 변형에 의존했으며, 네트워크가 정적이라고 가정하거나 모델 불일치에 취약했다. 이를 해결하기 위해 저자들은 온라인 최적화 이론, 특히 동적 환경에 적합한 Dynamic Mirror Descent(DMD) 알고리즘을 도입한다. 일반적인 온라인 학습은 매 시점 t에 예측 λ̂ₜ를 만든 뒤, 손실 ℓₜ(λ̂ₜ)와 그 그라디언트를 이용해 λ̂ₜ₊₁을 업데이트한다. DMD는 여기에 알려진(또는 추정된) 동적 변환 Φₜ를 삽입해, λ̂ₜ₊₁ = Φₜ(˜λₜ₊₁, Wₜ) 형태로 두 단계(그라디언트 단계 4a, 동적 변환 단계 4b)를 결합한다. 여기서 ˜λₜ₊₁는 투사 연산을 거친 그라디언트 업데이트 결과이며, Φₜ는 Hawkes 모델이 제공하는 선형 동적 관계, 즉 λ̂ₜ에 h와 현재 네트워크 가중치 Wₜ를 적용해 다음 시점의 기대 발생률을 계산한다. 두 가지 시나리오가 제시된다. ① **네트워크가 알려진 경우**: W는 고정이며, Φₜ는 단순히 λ̂ₜ에 h와 W를 곱해 선형 변환한다. 이때 알고리즘은 λ̂만을 업데이트하고, regret bound는 O(√T)와 함께 비교자 시퀀스와 Φₜ 사이의 차이 ‖λₜ₊₁−Φₜ(λₜ,W)‖₁에 비례하는 추가 항을 포함한다. 이는 실제 시스템이 모델 Φₜ와 얼마나 일치하는가에 따라 성능이 결정된다는 의미다. ② **네트워크가 미지인 경우**: W를 추가 변수로 두고, 온라인 사후 추정 절차를 설계한다. 저자들은 W에 대해 L₁ 정규화(희소성)와 nuclear norm(저랭크) 제약을 동시에 적용해, 실제 네트워크가 희소하고 저차원 구조를 가질 가능성을 활용한다. Ŵₜ는 매 시점 새로운 이벤트가 관측될 때마다, λ̂ₜ와 연계된 손실 함수의 그라디언트를 이용해 업데이트되며, 이후 Φₜ는 최신 Ŵₜ를 사용해 동적 변환을 수행한다. 이 구조는 λ̂와 Ŵ가 서로 의존적이지만, 각각의 업데이트가 독립적인 O(p²) 연산으로 구현돼 실시간 처리에 적합하다. 이론적 분석에서는 비교자 시퀀스 λₜ가 동적 모델 Φₜ를 따를 경우, 전체 regret R_T(λ_T) ≤ C·√T·(1 + Σ_t‖λₜ₊₁−Φₜ(λₜ,W)‖₁) 형태의 상한을 증명한다. 여기서 C는 문제에 따라 정의되는 상수이며, 위 식은 기존 정적 온라인 학습이 제공하는 O(√T) regret보다 더 일반적인 동적 상황을 포괄한다. 또한, 손실 함수가 convex하고 Lipschitz 연속이면 모델 불일치(예: 실제 h가 가정과 다르거나 비선형 효과가 존재) 상황에서도 동일한 차수의 regret bound가 유지돼 알고리즘이 일정 수준의 견고성을 갖는다는 점을 강조한다. 실험 부분은 세 가지 주요 설정으로 구성된다. - **합성 데이터 (정확한 Hawkes 모델)**: 파라미터를 사전에 지정하고, 네트워크가 시간에 따라 변하는 시나리오를 시뮬레이션한다. 제안 알고리즘은 배치 EM 방법과 거의 동일한 로그우도(negative log‑likelihood) 성능을 보이며, 연산 시간은 10배 이상 빠르다. - **모델 불일치 상황**: 영향 함수 h를 가우시안 형태에서 지수형으로 바꾸거나, 비선형 상호작용을 추가한다. 이때 기존 EM/Bayesian 방법은 성능이 급격히 저하되지만, 온라인 DMD 기반 방법은 손실 증가가 제한적이며, 특히 네트워크가 급격히 변할 때 빠르게 적응한다. - **실제 데이터 (MemeTracker)**: 인터넷 상에서 meme가 전파되는 로그 데이터를 사용해, 각 웹사이트를 노드, meme 전파를 이벤트로 모델링한다. 알고리즘은 실제 전파 경로를 추정하고, 향후 meme 확산을 1‑step ahead 예측하는 데 있어 기존 베이스라인보다 높은 정확도를 기록한다. 마지막으로 저자들은 알고리즘의 계산 복잡도를 분석한다. 알려진 네트워크 경우 O(p²) 연산(λ̂ 업데이트)만 필요하고, 미지 네트워크 경우에도 매 시점 O(p²) 수준의 행렬 연산과 프로젝션(희소/저랭크 정규화)만 수행한다. 이는 수천 노드 규모에서도 실시간 적용이 가능함을 의미한다. 결론적으로, 이 논문은 (1) 동적 Hawkes 모델을 온라인으로 추정하는 새로운 DMD 기반 프레임워크, (2) 네트워크가 알려졌을 때와 미지일 때를 모두 포괄하는 알고리즘 설계, (3) 동적 regret 분석을 통한 이론적 보증, (4) 합성 및 실제 데이터 실험을 통한 실용성 검증이라는 네 가지 핵심 기여를 제공한다. 이러한 접근은 소셜 미디어, 신경 과학, 금융 시장 등 실시간 이벤트 흐름을 모니터링하고 예측해야 하는 다양한 분야에 직접적인 응용 가능성을 열어준다.