제한 볼츠만 머신을 활용한 집합 분류

초록

본 논문은 입력이 다수의 벡터로 구성된 집합 형태일 때의 분류 문제를 다룬다. 제한 볼츠만 머신(RBM)의 구조를 확장하여 집합 내부의 상관관계와 클래스와의 관계를 모델링하고, 다양한 가정(예: 독립, 순서 무관, 전체‑반복) 하에서 학습 방법을 제시한다. 표준 다중 인스턴스 학습 데이터와 실제 우편 분류 과제에 적용해 경쟁력 있는 성능을 입증한다.

상세 분석

이 논문은 전통적인 단일 인스턴스 분류와 달리, 하나의 샘플이 여러 개의 피처 벡터(예: 페이지, 섹션, 이미지 패치)로 구성된 집합(set) 형태일 때의 학습·추론 메커니즘을 고찰한다. 핵심 아이디어는 제한 볼츠만 머신(RBM)의 숨은 유닛을 집합 전체에 공유하거나, 각 인스턴스마다 별도의 숨은 유닛을 두어 집합 수준의 표현을 학습하도록 구조를 변형하는 것이다. 저자는 크게 세 가지 모델 변형을 제안한다. 첫째, Set‑RBM‑Shared는 모든 인스턴스가 동일한 숨은 유닛을 공유하도록 하여, 집합 전체의 통계적 특성을 한 번에 캡처한다. 이 경우 에너지 함수는 각 인스턴스의 가시 유닛과 공유 숨은 유닛 사이의 결합을 모두 합산하는 형태가 되며, 학습 시에는 전체 집합에 대한 평균적인 그래디언트를 사용한다. 둘째, Set‑RBM‑Independent는 인스턴스마다 독립적인 숨은 유닛을 할당하고, 최종 클래스 확률은 각 인스턴스별 RBM 출력의 평균 혹은 최대값을 취해 결합한다. 이는 다중 인스턴스 학습(MIL)에서 흔히 쓰이는 “max‑pooling” 전략과 유사하지만, 확률적 그래픽 모델의 장점을 유지한다. 셋째, Set‑RBM‑Hierarchical는 두 단계 구조를 도입한다. 첫 단계는 인스턴스‑레벨 RBM을 통해 로컬 특징을 추출하고, 두 번째 단계는 이러한 로컬 특징을 입력으로 하는 상위 RBM이 집합‑레벨 표현을 학습한다. 이 계층적 설계는 복잡한 공간적·구조적 관계를 모델링하는 데 유리하며, 특히 이미지 세그먼트나 문서 섹션처럼 계층적 구성이 뚜렷한 데이터에 효과적이다.

모델 학습은 대조 발산(Contrastive Divergence, CD) 기반의 근사 최대우도 추정으로 수행된다. 집합 전체에 대한 에너지 평균을 최소화하기 위해, 저자는 CD‑k 알고리즘을 각 인스턴스에 독립적으로 적용한 뒤, 결과를 집합 수준에서 집계하는 절차를 제시한다. 또한, 클래스 라벨이 집합 전체에만 존재하고 개별 인스턴스에는 없다는 MIL 특성을 반영해, 라벨‑조건부 에너지 함수를 도입하고, 라벨이 없는 인스턴스에 대한 마진 기반 정규화를 적용한다.

실험에서는 표준 MIL 벤치마크(예: MUSK1, MUSK2, Elephant, Fox)와 실제 우편 분류 데이터셋을 사용한다. Set‑RBM‑Shared와 Set‑RBM‑Hierarchical는 특히 작은 샘플 수에서도 과적합을 방지하며, 기존 MIL 알고리즘(mi‑SVM, MI‑Boost 등)과 비교해 평균 3~5% 정도의 정확도 향상을 보였다. 특히 우편 분류 실험에서는 페이지 수가 가변적인 우편물에 대해, 계층적 모델이 페이지 간 내용 상관관계를 효과적으로 포착해 높은 분류 정확도와 낮은 오류율을 달성했다.

이 논문의 주요 기여는 (1) 집합 형태 입력을 직접 다룰 수 있는 RBM 기반 모델링 프레임워크를 제시한 점, (2) 다양한 가정에 맞는 구조적 변형을 체계적으로 비교·분석한 점, (3) 실무 적용 가능성을 입증하기 위해 실제 우편 분류 시스템에 적용한 점이다. 또한, RBM의 확률적 특성과 비선형 표현 능력을 활용해, 기존 MIL 방법이 갖는 선형 가정이나 커널 선택에 대한 민감성을 완화한다는 점에서 이론적·실용적 의미가 크다. 향후 연구에서는 변분 오토인코더(VAE)나 흐름 기반 모델과 결합해 더 풍부한 집합 표현을 학습하거나, 온라인 학습 시나리오에서의 효율적인 파라미터 업데이트 방법을 탐색할 여지가 있다.