제한 볼츠만 머신에서 조합적 표현의 등장

본 논문은 제한 볼츠만 머신(RBM)이 복잡한 고차원 데이터의 특징을 자동으로 추출하고, 이를 조합하여 새로운 데이터를 생성하는 능력을 갖는 ‘조합적(compositional) 단계’를 언제, 어떻게 달성할 수 있는지를 이론과 실험을 통해 체계적으로 분석한다. 1. **배경 및 목표** - 현대 머신러닝에서 지도학습은 뛰어난 성과를 보이지만, 비지도 학습은 아직도 데이터의 내재적 구조를 학습하는 데 어려움을 겪는다. - RBM은 가시층(v)과 은닉층(h) 사이에 완전 이분 그래프를 두고, 에너지 기반 모델링을 통해 데이터 분포를 학습한다. 기존 연구에서는 RBM이 ‘분산(distributed)’ 및 ‘그레이디드(graded)’ 표현을 만든다고 보고했지만, 언제 이러한 표현이 ‘조합적’인지는 명확히 규명되지 않았다. 2. **모델 정의** - 가시층은 이진 변수 v_i∈{0,1}, 은닉층은 ReLU 혹은 Bernoulli와 같은 비선형 활성화 함수를 갖는 연속형 변수 h_µ로 구성한다. - 에너지 함수는 \