깊은 희소 그래프 모델을 위한 무한 구조 학습

본 논문은 깊은 베이지안 신경망, 특히 **Deep Belief Network(DBN)** 의 구조를 비파라메트릭하게 학습하는 새로운 프레임워크를 제시한다. 전통적인 DBN은 층마다 고정된 유닛 수와 사전 정의된 연결 패턴을 갖지만, 실제 데이터에 맞는 최적 구조를 찾는 것은 매우 어려운 문제이다. 이를 해결하기 위해 저자들은 두 가지 핵심 아이디어를 결합한다. 첫 번째는 **Indian Buffet Process(IBP)** 를 확장한 **Cascading Indian Buffet Process(CIBP)** 로, 두 번째는 **Non‑Linear Gaussian Belief Network(NLGBN)** 로, 각각 구조와 유닛의 행동을 담당한다. 1. **배경 및 문제 정의** - 베이지안 그래프 모델에서 숨겨진 유닛 수와 연결 구조를 동시에 추정해야 하는데, 이는 차원 변화와 모델 복잡도 조절을 동시에 요구한다. - 기존 IBP는 무한히 넓은 은닉층을 제공하지만, 층 간 연결이 없어서 표현력이 제한적이다. 2. **Finite Belief Networks** - 저자는 전통적인 유한 깊이·폭 네트워크를 수식으로 정의하고, 각 층 m 에서 K^(m)개의 유닛과 이진 행렬 Z^(m) 로 부모‑자식 관계를 나타낸다. - 활성화는 가중치 행렬 W^(m) 와 편향 γ^(m) 로 구성된 선형 합 y^(m) 에 가우시안 잡음(정밀도 ν^(m)_k)을 더하고, 변형 시그모이드 σ 로 비선형 변환한다. ν 값에 따라 유닛은 이산형, 연속형, 혹은 결정론적 행동을 보인다. 3. **Infinite Belief Networks와 CIBP** - **IBP** 를 각 층에 적용해 Z^(m) 를 무한 열을 갖는 이진 행렬로 만든다. - **CIBP** 는 IBP 를 재귀적으로 연결한다. 즉, 층 m 의 열(‘음식’)이 층 m+1 의 행(‘고객’)이 된다. 이 구조는 행·열 모두 교환가능하므로 무한 깊이에서도 확률적 일관성을 유지한다. - 각 단계에서 활성 열 수 K^(m) 가 포아송 분포 λ(K^(m-1);α,β) 로 변하고, K=0 은 흡수 상태가 된다. 마코프 연쇄의 전이 확률을 분석해 **Foster‑Lyapunov 안정성 기준** 을 만족함을 보인다. 따라서 초기 유한 폭과 유한 α,β 로 시작하면 연쇄는 확률 1 로 종료한다(실제로는 유한한 깊이만 활성화). 4. **구조와 파라미터에 대한 사전** - 각 층 m 에 대해 가중치 W^(m) 와 편향 γ^(m) 은 층별 평균·정밀도(μ_w^(m),ρ_w^(m)) 로부터 독립적인 가우시안 사전을 갖는다. - 정밀도 ν^(m)_k 은 층별 감마 사전(a^(m),b^(m)) 을 갖고, 전역 하이퍼파라미터와 연결된다. - α(m),β(m) 를 깊이에 따라 변형 가능하게 하여, 낮은 층은 더 촘촘히, 높은 층은 더 희소하게 연결되도록 조절한다. 5. **추론 알고리즘** - 전체 사후분포는 구조 Z^(m), 파라미터 W^(m),γ^(m),ν^(m)_k, 그리고 숨겨진 유닛 u^(m)_n 로 구성된다. - **MCMC** 를 사용해 Gibbs 샘플링 및 Metropolis–Hastings 제안을 수행한다. - CIBP 덕분에 실제로는 관측 유닛의 조상인 유한한 서브그래프만 고려하면 되므로, 무한 네트워크에서도 계산량이 제한된다. - 구체적으로, (i) Z^(m) 의 행·열 추가·삭제, (ii) W^(m) 와 γ^(m) 의 가우시안 업데이트, (iii) ν^(m)_k 의 감마 업데이트, (iv) u^(m)_n 의 조건부 Gaussian‑Bernoulli 샘플링을 순차적으로 수행한다. 6. **실험 및 결과** - MNIST 손글씨, Olivetti 얼굴 등 여러 이미지 데이터셋에 대해 모델을 학습하였다. - 학습된 구조는 초기 가시 유닛(픽셀)에서 시작해 점진적으로 깊이와 폭을 확장했으며, 시각화된 그래프는 저수준 특징이 고수준 특징으로 합성되는 계층적 패턴을 보여준다. - 파라미터 효율성 측면에서, 동일한 재구성 정확도를 달성하면서 고정 폭 DBN 대비 파라미터 수가 크게 감소하였다. - 또한, ν 값에 따라 일부 유닛은 거의 이산형(바이너리)으로, 일부는 연속형으로 자동 전환되어 데이터에 맞는 표현을 스스로 선택한다는 점을 확인하였다. 7. **의의와 한계** - CIBP는 무한 폭·깊이 베이지안 신경망에 대한 **수학적 정당성**(교환가능성, 라플라스 안정성)과 **실용적 추론**(유한 서브그래프만 고려) 를 동시에 제공한다. - NLGBN과 결합해 유닛 행동까지 공동 학습함으로써, 기존 구조 학습 방법보다 더 풍부한 표현력을 얻는다. - 현재는 MCMC 기반 추론이 계산적으로 무겁고, 대규모 데이터에 적용하려면 변분 추정이나 스토캐스틱 샘플링 등 추가 연구가 필요하다. 결론적으로, 이 논문은 **CIBP** 라는 새로운 비파라메트릭 사전과 **NLGBN** 의 결합을 통해, 깊고 희소한 그래프 모델의 구조와 파라미터를 동시에 학습할 수 있는 프레임워크를 제시한다. 이는 베이지안 딥러닝 분야에서 구조 학습을 다루는 기존 접근법을 크게 확장하며, 향후 더 복잡한 데이터와 대규모 모델에 적용될 가능성을 열어준다.