최적 변수 순서 선택으로 향상된 오토레그레시브 이징 모델

본 논문은 오토레그레시브(autoregressive) 모델이 변수 순서에 따라 조건부 분포의 복잡도가 크게 변한다는 점을 출발점으로 삼아, 이징 모델과 같은 이산 마코프 랜덤 필드(MRF)에서 그래프 구조를 활용한 최적 변수 순서를 설계한다. 먼저 이징 모델을 정의하고, 확률 분포 p(x) 를 전통적인 체인 룰에 따라 순열 σ 에 따라 분해한다. 그러나 순열에 따라 각 조건부 p(x_{σ(i)} | x_{σ(1)},…,x_{σ(i-1)}) 는 일반적으로 모든 이전 변수에 의존하게 되며, 이는 고차 상호작용을 포함하는 복잡한 지수형식으로 이어진다. 마코프 성질을 이용하면 실제로 필요한 조건부 변수는 해당 변수와 직접 연결된 이웃들, 즉 부모 집합 Par(σ(i)) 으로 제한될 수 있다. 논문은 이 부모 집합을 “이전 방문 노드를 제외하고 경로가 존재하는 경우에만 포함”하는 형식으로 정의하고, 이를 기반으로 조건부 분포를 p(x_{σ(i)} | x_{Par(σ(i))}) 형태로 축소한다. 이렇게 하면 각 조건부에 필요한 변수 수 d_k = |Par(σ(k))| 가 그래프의 국소 연결성에 의해 제한되며, 차수 O 를 정하면 파라미터 수 T = 1+∑_{r=1}^{O-1} C(d_k, r) 또는 2^{d_k} ( d_k ≤ O-1 인 경우) 로 계산된다. 조건부 분포 학습은 GRISE(Generalized Regularized Interaction Screening Estimator)를 사용한다. GRISE는 주어진 샘플 m 에 대해 ∑_{i} ∑_{l=1}^{m} exp(−θ_i x_i^{(l)}−∑_{S∈S(O)_i} θ_{i,S} ∏_{j∈S} x_j^{(l)}) 를 최소화함으로써 파라미터 θ_i, θ_{i,S} 를 추정한다. 이 방법은 O(N^{O}) 시간에 일관된 추정치를 제공한다는 이론적 보장을 갖는다. 그래프 구조 자체가 알려지지 않은 경우에는 RISE(Regularized Interaction Screening Estimator)를 이용해 에지를 정확히 복원한다. 최적 순서를 선택하는 핵심 기준은 전체 순열 중 최대 부모 집합 크기 d 와 그 크기를 갖는 조건부 수 K 를 최소화하는 것이다. Vuffray et al. (2020)의 정리에 따르면, d 가 클수록 샘플 복잡도가 exp(d) 에 비례해 급격히 증가한다. 따라서 고정된 학습 샘플 수 m 하에서 가장 큰 오류는 d 가 최대인 조건부에 집중된다. 논문은 이 가설을 검증하기 위해 2차원 격자형 이징 모델(크기 L×L)에서 여러 순열을 비교한다. 실험에 사용된 순열은 (1) 무작위 순열, (2) 행 우선(또는 열 우선) 순서, (3) 그래프‑인식 순서(그래프 구조에 기반해 부모 집합 크기를 최소화하도록 설계)이다. 실험 결과는 그래프‑인식 순서가 평균 부모 집합 크기와 최대 d 를 크게 낮추어, 동일한 m 에 대해 로그우도와 샘플 시각적 품질이 현저히 향상됨을 보여준다. 특히, 조건부 파라미터 수가 감소함에 따라 학습 시간도 감소하고, 샘플링 단계에서 오류 전파가 억제되어 높은 충실도의 이미지를 생성한다. 반면, 무작위 순열은 일부 조건부가 전체 변수에 의존하게 되어 학습이 불안정하고, 행/열 우선 순서는 그래프‑인식 순서에 비해 평균 d 가 약 30 % 정도 높아 성능 차이가 나타난다. 논문은 또한 기존의 순열에 민감한 NADE, MADE, MAF와 달리 순열 자체를 최적화함으로써 근본적인 모델 복잡도를 낮춘다는 점을 강조한다. 순열에 대한 사전 최적화가 가능한 경우, 특히 상호작용이 희소하고 거리 의존도가 빠르게 감소하는 물리계(저온 이징, 스핀 글래스 등)에서 큰 이점을 제공한다. 마지막으로, 이 접근법은 이미지 외에도 그래프 생성, 시계열 모델링 등 순서가 자연스럽게 정의되지 않는 도메인에도 확장 가능함을 제시한다.