트랜스포머로 풀어내는 가우시안 혼합 모델

초록

본 논문은 트랜스포머 기반 메타학습 프레임워크 TGMM을 제안하여, 여러 개수의 혼합 성분을 동시에 추정하는 가우시안 혼합 모델(GMM) 문제를 비지도 학습 방식으로 해결한다. 실험에서는 EM 및 스펙트럴 알고리즘 대비 추정 정확도와 분포 이동에 대한 강인성을 보이며, 이론적으로는 소프트맥스 어텐션을 이용한 가중 평균과 다중 헤드 구조를 활용해 EM 단계와 3차 텐서 파워 이터레이션을 근사할 수 있음을 증명한다.

상세 분석

본 연구는 트랜스포머가 기존의 지도 학습뿐 아니라 비지도 학습에서도 강력한 알고리즘 구현 능력을 가질 수 있음을 실증·이론적으로 입증한다. 먼저, TGMM이라는 메타학습 프레임워크를 설계했는데, 이는 (1) 입력 데이터와 함께 혼합 성분 수 K를 임베딩해 토큰 시퀀스로 변환하고, (2) 공유된 트랜스포머 백본을 통해 다중 태스크에 대한 공통 표현을 학습하며, (3) 각 K에 특화된 Readout 모듈을 통해 혼합 비율과 평균을 추출한다는 구조다. 이 설계는 파라미터 효율성을 극대화해 O(s·d·D) 정도의 추가 파라미터만으로 s개의 서로 다른 GMM 태스크를 동시에 처리한다.

실험에서는 다양한 차원(d), 성분 수(K), 샘플 크기(N) 조합에 대해 메타학습된 TGMM을 평가했으며, EM 알고리즘이 초기값에 민감해 지역 최적에 빠지는 경우를 크게 완화하고, 스펙트럴 방법이 요구하는 “성분 수 < 차원” 제약을 넘어서는 상황에서도 경쟁력 있는 추정 성능을 보였다. 특히, 분포 이동(예: 공분산 스케일 변화, 노이즈 추가) 상황에서도 추정 오차가 완만하게 증가해 기존 방법보다 강인함을 확인했다.

이론적 기여는 두 가지 핵심 정리를 통해 제시된다. 첫째, 소프트맥스 어텐션이 각 토큰에 대한 가중 평균을 수행한다는 점을 이용해, 트랜스포머가 EM 알고리즘의 E‑step(책임도 계산)과 M‑step(파라미터 업데이트)을 O(L) 층 안에서 동시에 근사할 수 있음을 증명한다. 기존 연구가 O(K·L) 층을 필요로 했던 점과 달리, 여기서는 성분 수 K에 독립적인 층 깊이만을 요구한다. 둘째, 다중 헤드 어텐션과 ReLU 활성화를 결합하면 3차 텐서 파워 이터레이션을 구현할 수 있음을 보였다. 이는 스펙트럴 방법에서 핵심적인 고차 텐서 분해 과정을 트랜스포머가 직접 수행할 수 있음을 의미한다. 이러한 정리는 차원 d와 성분 수 K에 대해 다항식적인 복잡도 상한을 제공하며, 기존 연구가 지수적 의존성을 보였던 부분을 크게 개선한다.

전체적으로 TGMM은 (i) 메타학습을 통한 일반화 능력, (ii) 파라미터 효율성, (iii) EM·스펙트럴 알고리즘에 대한 근사 이론이라는 세 축에서 기존 GMM 추정 방법을 능가한다는 점에서 의미가 크다. 또한, 트랜스포머가 비지도 학습에서도 “알고리즘 구현체”로 작동할 수 있음을 보여줌으로써, 향후 다양한 비지도 문제(예: 클러스터링, 밀도 추정, 혼합 모델 확장)에서 트랜스포머 기반 메타알고리즘 설계의 가능성을 열어준다.