스파이크 슬랩 희소 코딩을 이용한 비지도 특징 학습

초록

본 논문은 스파이크‑앤‑슬랩 희소 코딩(S3C) 모델을 제안하고, GPU 친화적인 구조적 변분 추론 알고리즘을 설계한다. 변분 EM 학습을 통해 대규모 데이터와 수천 개의 잠재 요인에 대해 효율적으로 학습할 수 있다. CIFAR‑10, STL‑10 등에서 기존 스파이크‑앤‑슬랩 RBM 및 전통적인 희소 코딩보다 우수한 지도·반지도 성능을 입증한다.

상세 분석

S3C 모델은 이진 스파이크 변수와 연속형 슬랩 변수의 결합으로, 각각이 활성화 여부와 실제 값의 두 단계 표현을 제공한다. 이 구조는 전통적인 희소 코딩이 갖는 연속형 가우시안 잠재 변수와, 스파이크‑앤‑슬랩 RBM이 갖는 이진‑연속 혼합 구조의 장점을 동시에 취한다. 그러나 정확한 사후 분포는 결합된 이산·연속 변수 때문에 계산적으로 불가능하며, 기존 연구는 주로 Gibbs 샘플링이나 단순한 mean‑field 접근에 의존해 병렬화에 한계를 보였다.

저자들은 변분 추론을 ‘구조적’으로 설계한다. 구체적으로, 각 데이터 포인트에 대해 스파이크 변수들의 독립적인 베르누이 분포와 슬랩 변수들의 가우시안 분포를 동시에 최적화한다. 이때 슬랩 변수의 평균은 스파이크 변수의 기대값에 조건부로 연결되며, 이는 ‘스파이크가 켜진 경우에만 슬랩이 의미를 갖는다’는 직관을 반영한다. 변분 파라미터 업데이트는 두 단계로 나뉘는데, 첫 단계는 스파이크의 로그오즈를 업데이트하고, 두 번째 단계는 슬랩의 평균·분산을 갱신한다. 두 단계 모두 행렬 연산으로 표현될 수 있어 GPU에서 대규모 배치 연산이 가능하다.

학습은 변분 EM 프레임워크 안에서 진행된다. E‑step에서는 위의 구조적 변분 추론을 수행해 각 데이터에 대한 잠재 변수의 근사 사후를 얻고, M‑step에서는 기대 로그우도에 대한 파라미터(가중치 행렬, 슬랩의 사전 분산, 스파이크의 사전 확률 등)를 최대화한다. 특히, M‑step의 가중치 업데이트는 일반적인 선형 회귀와 동일한 형태이지만, 변분 기대값을 사용함으로써 ‘소프트’한 희소성을 유지한다.

성능 평가에서는 CIFAR‑10을 10,000개의 학습 샘플과 50,000개의 테스트 샘플로 사용해, 1600개의 잠재 요인과 256개의 필터 크기를 가진 S3C 모델이 기존 ssRBM(스파이크‑앤‑슬랩 RBM)과 전통적인 희소 코딩보다 높은 정확도를 기록한다. 반지도 실험에서는 전체 데이터의 10%만 라벨을 사용했을 때도, S3C가 다른 방법보다 더 큰 이득을 보이며, 이는 모델이 라벨이 없는 데이터에서 유용한 구조적 특징을 잘 포착함을 의미한다.

또한 STL‑10 데이터셋(이미지 96×96, 100,000개의 비라벨 이미지)에서 ‘셀프‑테치드 러닝’ 실험을 수행했으며, 사전 학습된 S3C 필터를 고정하고 선형 SVM을 학습했을 때, 기존 최첨단 방법들을 앞서는 정확도를 달성한다. 마지막으로 NIPS 2011 워크숍의 전이 학습 챌린지를 승리함으로써, 대규모 비라벨 데이터에서 학습된 S3C가 다른 도메인으로의 전이에도 강인함을 입증한다.

전체적으로 이 논문은 (1) 구조적 변분 추론을 통해 GPU 친화적인 고속 학습을 가능하게 한 점, (2) 스파이크‑슬랩 혼합 구조가 희소 코딩의 표현력과 RBM의 확률적 모델링을 동시에 제공한다는 점, (3) 대규모 비라벨 데이터에서의 뛰어난 전이·반지도 성능을 실증했다는 점에서 의미가 크다. 향후 연구에서는 더 깊은 계층 구조로 확장하거나, 변분 추론에 최신 최적화 기법(예: Adam, RMSProp)을 적용해 학습 안정성을 높이는 방안이 기대된다.