가시변수와 숨은변수의 크로네커곱 모델 차원 분석

본 논문은 “크로네커곱 모델”이라 명명된 새로운 확률 모델 클래스를 정의하고, 그 차원을 정밀하게 분석한다. 크로네커곱 모델은 두 개의 지수 가족, 즉 가시 변수 집합 X와 숨은 변수 집합 Y에 대한 충분통계 행렬 A와 B가 각각 정의된 뒤, 전체 충분통계 행렬 F가 F(x,y)=A(x)⊗B(y) 형태의 크로네커곱으로 구성되는 경우를 말한다. 이러한 구조는 혼합 모델, 제한 볼츠만 머신(RBM), 그리고 보다 일반적인 계층적 그래프 모델 등 다양한 통계·기계학습 모델을 포괄한다. 논문의 첫 부분에서는 지수 가족 EF와 그 주변화 모델 MF의 기본 정의를 제시한다. 충분통계 행렬 F의 행공간에 상수벡터가 포함된다고 가정하면, EF의 차원은 rank(F)‑1 로 주어지고, MF의 차원은 파라미터 θ에 대한 야코비안 JMF(θ)의 최대 랭크로 정의된다. 그러나 일반적인 θ에 대해 JMF는 복잡한 비선형 구조를 가지므로 직접적인 랭크 계산이 어려운 것이 현실이다. 이를 해결하기 위해 저자는 파라미터를 무한대로 확대하는 ‘대파라미터 극한(large‑parameter limit)’을 고려한다. 이 극한에서는 확률분포가 θ와 내적이 최대인 상태에 집중하고, 조건부 확률 pθ(y|x) 가 argmax_y⟨θ,F(x,y)⟩ 에 해당하는 y 집합에만 비제로가 된다. 이러한 현상을 열대 기하학(tropical geometry) 용어로 정형화하여 ‘열대 사상(Φθ)’을 정의한다. Φθ는 각 가시 상태 x에 대해 argmax_y⟨θ,F(x,y)⟩ 로 정의되는 숨은 상태 집합 hθ(x)를 구하고, 그 집합 내의 충분통계 평균 ⎯F(x, hθ(x)) 를 반환한다. 열대 사상에 의해 생성된 벡터들의 집합, 즉 열대 모델 MT(F)는 원래 모델 MF와 차원 면에서 하한 관계를 가진다(즉, dim(MF) ≥ dim(MT(F))). 따라서 열대 모델의 차원을 분석하면 MF의 차원을 추정할 수 있다. 크로네커곱 구조를 도입하면 열대 사상의 형태가 크게 단순화된다. F(x,y)=A(x)⊗B(y) 이므로 ⎯F(x, hθ(x)) = A(x)⊗⎯B(hθ(x)) 가 된다. 여기서 ⎯B(hθ(x)) 는 숨은 상태 집합 hθ(x) 에 대한 B 열벡터들의 평균이다. 이를 행렬 형태로 정리하면 Φθ는 A와 B의 Khatri‑Rao 곱 A∘B_{hθ} 로 표현된다. Khatri‑Rao 곱은 각 열이 A의 열과 B_{hθ}의 해당 열의 크로네커곱으로 구성된 행렬이다. 핵심 문제는 어떤 추론 함수 hθ가 존재할 때, A∘B_{hθ} 의 랭크가 최대(=rank(A)·rank(B_{hθ})) 가 되는가이다. 이를 위해 저자는 B의 열벡터들이 형성하는 다면체(볼록 껍질)의 정상팬(normal fan)을 이용한다. θ의 방향이 특정 팬의 원뿔에 속하면, 해당 원뿔에 대응하는 가시 상태들의 집합이 동일한 숨은 상태 집합을 선택한다. 즉, θ에 의해 정의된 ‘슬라이스(slicing)’가 X를 여러 구역으로 나누고, 각 구역마다 동일한 B 열벡터 집합이 선택된다. 이때 구역당 선택된 B 열벡터들의 수와 그들이 스팬하는 차원이 충분히 크면, Khatri‑Rao 곱의 랭크는 곱의 형태를 유지한다. 구체적으로, 저자는 ‘오류 정정 코드’와 ‘Kruskal rank’ 개념을 도입해, B의 열벡터들이 서로 독립적인 경우(예: 모든 열이 서로 다른 경우)와 A의 열벡터가 충분히 다양하게 배치된 경우에 대해 충분조건을 제시한다. 이러한 조건이 만족되면, MF는 기대 차원(min{dim(EF), |X|‑1}) 을 달성한다. 특히, 논문은 두 가지 중요한 특수 경우를 상세히 다룬다. 첫 번째는 ‘계층적 모델(hierarchical model)’의 혼합 형태로, A와 B가 각각 특정 변수 집합에 대한 마코프 구조를 갖는 경우이다. 여기서는 변수 간 상호작용 차수와 코드 거리 등을 이용해 차원 하한을 계산한다. 두 번째는 ‘Hadamard product’ 형태, 즉 두 개 이상의 혼합 모델을 원소별 곱으로 결합한 경우이다. 이 경우에도 동일한 슬라이스 분석을 적용해 차원을 추정한다. 마지막으로 가장 중요한 결과는 이진 제한 볼츠만 머신(RBM)에 대한 차원 정리이다. RBM은 가시 유닛과 숨은 유닛이 각각 이진 변수이며, 충분통계가 각각 독립적인 이진 변수들의 지수 가족으로 구성된다. 기존 연구에서는 특정 (n,m) 조합에 대해 차원 손실이 발생할 가능성이 제기되었지만, 본 논문은 위에서 제시한 조합적 충분조건이 모든 n, m 에 대해 만족함을 증명한다. 따라서 이진 RBM은 언제나 기대 차원을 가지며, 이는 모델이 전체 확률단순체 내에서 최대한의 자유도를 활용한다는 의미이다. 전체적으로, 논문은 열대 기하학, 조합 최적화, 그리고 행렬 이론을 결합해 복잡한 지수 가족의 주변화 차원을 체계적으로 분석한다. 제시된 방법은 기존의 섹턴트 다양체 차원 계산보다 계산적으로 효율적이며, 특히 머신러닝 모델의 설계와 이론적 이해에 직접적인 활용 가능성을 제공한다.