조건부 제한 볼츠만 머신의 기하와 표현력

이 논문은 조건부 제한 볼츠만 머신(CRBM)의 기하학적 특성과 표현력을 체계적으로 탐구한다. 먼저 CRBM을 정의하고, 입력 유닛 k, 출력 유닛 n, 은닉 유닛 m으로 구성된 네트워크가 어떻게 조건부 확률 행렬 p(y|x)를 생성하는지를 수식화한다. CRBM은 각 입력 상태 x에 대해 동일한 가시‑은닉 가중치 W와 가시 편향 b를 공유하고, 입력에 따라 은닉 편향 Vx + c가 변하는 일련의 RBM 집합으로 볼 수 있다. **1. 차원 분석** 파라미터화된 매핑의 야코비안 순위를 통해 모델 차원을 조사한다. 일반적인 경우, 특히 m이 k + n에 대해 지수적으로 작을 때, 차원은 (k + n + 1)m + n 로, 파라미터 수와 일치한다(예상 차원). 반면 m이 충분히 크면 전체 조건부 폴리토프 차원 2^k(2^n − 1)와 동일해진다. 이는 대부분의 실용적인 설정에서 파라미터 중복이 거의 없으며, 거의 모든 조건부 분포가 유일하게 매핑된다는 것을 의미한다. **2. 보편 근사성** 모든 조건부 분포를 임의의 정확도로 근사할 수 있는 최소 은닉 유닛 수 m에 대한 상·하한을 제시한다. 기존의 RBM 전체 분포에 대한 결과(m ≥ ½·2^{k+n−1})를 개선하여, CRBM은 m ≥ ½·2^{k}(2^{n} − 1) 정도면 충분함을 보였다. 이는 입력‑출력 구조를 활용해 입력 분포를 별도로 모델링할 필요가 없기 때문이다. 또한, 보다 일반적인 형태의 상한을 제시해, k가 커질수록 m이 2^{k}에 비례하는 정도면 보편 근사가 가능함을 증명한다. **3. 근사 오차와 ε‑근사** KL 발산을 기준으로 모델의 최악 근사 오차를 분석한다. 주어진 오차 ε에 대해, m ≈ O(2^{k}·log(1/ε))이면 모든 조건부 분포를 ε 이내로 근사할 수 있다. 이는 은닉 유닛 수가 입력 차원에 선형적으로 의존함을 보여, 실용적인 모델 설계 시 은닉 유닛 수를 입력 차원에 비례하게 선택하면 충분히 좋은 근사가 가능함을 시사한다. **4. 특정 분포 클래스와의 관계** - *조건부 마코프 랜덤 필드*: 그래프 구조에 대응하는 W와 V를 선택하면, CRBM은 해당 마코프 랜덤 필드의 조건부 분포를 정확히 재현한다. 이는 CRBM이 구조적 의존성을 자연스럽게 인코딩할 수 있음을 의미한다. - *제한된 지원(특히 결정론적) 분포*: 은닉 유닛이 충분히 많으면, 입력에 대해 출력이 완전히 결정되는 함수 형태의 조건부 분포도 정확히 표현 가능함을 정리(정리 21)한다. **5. 최소 은닉 유닛 수에 대한 하한** 모델이 보편 근사성을 갖기 위한 필요조건으로, 파라미터 수와 조건부 폴리토프 차원을 비교해 m ≥ ( n + k + 1)(2^{k}(2^{n} − 1) − n )/2 라는 하한을 도출한다. 이는 차원 분석과 일치하며, 실제 설계 시 이보다 큰 m을 선택하면 보편 근사가 보장된다. **결론** CRBM은 입력‑출력 구조를 활용해 파라미터 효율성을 크게 높이면서도, 충분한 은닉 유닛이 주어지면 모든 조건부 분포를 근사할 수 있는 강력한 모델이다. 차원은 대부분 기대 차원과 일치하고, 보편 근사에 필요한 은닉 유닛 수는 전체 RBM에 비해 입력 차원에 비례하는 정도로 크게 감소한다. 또한 마코프 랜덤 필드와 결정론적 조건부 분포 등 실용적인 분포 클래스도 정확히 표현 가능함을 수학적으로 증명하였다. 이러한 결과는 CRBM이 조건부 확률 모델링, 분류, 강화 학습, 센서모터 제어 등 다양한 분야에서 이론적 근거를 가지고 활용될 수 있음을 시사한다.