복잡도와 상관감쇠 사이의 구조학습 트레이드오프

초록

이 논문은 이진 마코프 랜덤 필드인 이징 모델의 구조를 학습할 때, 알고리즘의 계산 복잡도와 샘플 복잡도 사이에 존재하는 근본적인 트레이드오프를 분석한다. 특히, 상관감쇠가 약해지는(즉, 장거리 상관이 강해지는) 상황에서 저복잡도 알고리즘이 실패하거나 샘플 수가 그래프 크기에 비례해 급증한다는 사실을 구체적인 그래프 예시와 이론적 경계값을 통해 보여준다.

상세 분석

본 논문은 이징 모델 µ_{G,θ}(x)=Z^{-1}exp(θ∑{(i,j)∈E}x_i x_j) 에서 파라미터 θ와 그래프의 최대 차수 Δ가 상관감쇠에 미치는 영향을 정량화한다. 먼저, “유니크니스 임계값” θ{uniq}(Δ)=atanh(1/(Δ−1)) 를 도입하여, θ<θ_{uniq} 일 때는 Gibbs 샘플링이 빠르게 혼합하고 변수들 사이의 상관이 급격히 감소한다는 기존 이론을 재해석한다. 반면 θ>θ_{uniq} 가 되면, 높은 차수와 강한 상호작용이 결합되어 장거리 상관이 지속되며, 이는 그래프 구조를 추정하는 데 필요한 통계적 신호를 약화시킨다.

논문은 세 가지 대표적인 구조학습 알고리즘을 대상으로 상세한 복잡도 분석을 수행한다. (1) 단순 임계값(Thresholding) 알고리즘은 경험적 상관 C_{ij}= (1/n)∑_ℓ x_i^{(ℓ)}x_j^{(ℓ)} 를 계산하고, τ(θ) 이상의 값을 엣지로 판단한다. 트리 구조에서는 τ=(tanhθ+tanh²θ)/2 로 설정하면 샘플 복잡도 n=O(log p) 로 충분히 정확한 복구가 가능함을 보였으며, 최대 차수 Δ>1 인 경우에도 θ<atanh(1/(2Δ)) 일 때 τ=(tanhθ+1/(2Δ))/2 로 동일한 로그 스케일의 샘플 복잡도를 유지한다. 이는 상관감쇠가 충분히 빠를 때 저복잡도 알고리즘이 효율적임을 의미한다.

(2) 조건부 독립성 검사(Conditional Independence Test) 알고리즘은 각 노드 i에 대해, i와 다른 노드 j가 i의 마코프 블랭킷 외에 독립인지 χ² 검정을 이용한다. 이 방법은 차수 Δ가 제한된 그래프에서 θ<θ_{uniq}(Δ) 일 때, 샘플 복잡도 O(Δ log p) 로 정확한 복구를 보장한다. 그러나 θ가 임계값을 초과하면, 조건부 독립성 검정에 필요한 통계량이 약해져 오류 확률이 급증한다.

(3) 정규화 로지스틱 회귀(Regularized Logistic Regression, RLR) 알고리즘은 각 변수 i를 종속 변수로 두고, 나머지 변수들을 독립 변수로 하는 로지스틱 모델을 ℓ₁ 정규화와 함께 학습한다. 기존 연구