희소 그룹 제한 볼츠만 머신

초록

본 논문은 제한 볼츠만 머신(RBM)에 $l_1/l_2$ 정규화를 적용해 숨김 유닛을 그룹별로 희소하게 만들고, 같은 그룹 내에서는 경쟁을 유도한다. 이를 통해 그룹 차원과 개별 유닛 차원 모두에서 희소성을 확보한다. 제안 기법은 자연 이미지 패치, 손글씨 숫자, 그리고 깊은 신경망 사전학습 등 세 가지 실험에 적용되었으며, 특히 MNIST 데이터셋에서 2층 희소 그룹 심층 볼츠만 머신이 0.84%의 오류율을 기록해 기존 최고 기록을 갱신하였다.

상세 요약

제한 볼츠만 머신(RBM)은 가시층과 숨김층 사이에 완전 연결을 두지만, 숨김층 내부의 연결은 차단한다는 설계 때문에 학습이 매우 느리다. 이 구조적 제한은 숨김 유닛들의 독립성을 가정하게 만들지만, 실제 데이터에 대한 모델링 과정에서는 숨김 유닛들 간에 통계적 의존성이 발생한다는 점을 저자들은 관찰하였다. 이러한 의존성을 활용하기 위해 $l_1/l_2$ 정규화, 즉 그룹 라쏘(group lasso) 형태의 정규화를 숨김 유닛의 활성화 확률에 적용한다. 구체적으로, 숨김 유닛들을 사전에 정의된 그룹으로 묶고 각 그룹에 대해 $l_2$ 노름을 계산한 뒤, 전체 그룹에 대해 $l_1$ 노름을 부과한다. $l_1$ 성분은 많은 그룹을 완전히 비활성화시키는 효과를, $l_2$ 성분은 같은 그룹 내에서 유닛들 간에 경쟁을 일으켜 몇몇 유닛만이 선택적으로 활성화되도록 만든다. 결과적으로 모델은 그룹 수준의 희소성과 유닛 수준의 희소성을 동시에 달성한다.

수학적으로는 기존 RBM의 로그우도에
\