베이지안 직교 성분 분석을 통한 희소 표현

초록

본 논문은 관측 데이터가 희소하게 표현될 수 있는 저차원 공간을 찾는 문제를, 정규 직교 혼합 행렬을 갖는 블라인드 소스 분리 형태로 모델링한다. 베르누이‑가우시안 사전과 Stiefel 다양체 위의 비정보 사전을 도입하고, 부분적으로 붕괴된 Gibbs 샘플러를 이용해 MCMC 추론을 수행한다. 실험을 통해 제안 방법이 언더컴플리트 딕셔너리에서의 희소 코딩 성능을 크게 향상시킴을 보인다.

상세 분석

이 연구는 “언더컴플리트(dictionary) 학습”이라는 특수한 상황에 초점을 맞춘다. 일반적인 딕셔너리 학습은 과잉완전(over‑complete) 혹은 완전(complete) 딕셔너리를 가정하지만, 여기서는 차원이 낮은(under‑complete) 사전 행렬을 사용한다는 점이 핵심이다. 저차원 공간에 데이터를 투사했을 때도 여전히 희소성을 유지하도록 설계된 모델은, 관측 벡터 x 를 x = A s + ε 로 표현한다. 여기서 A 는 정규 직교(orthogonal) 행렬이며, s 는 고도로 희소한 소스 벡터, ε 는 가우시안 잡음이다.

희소성 모델링을 위해 저자들은 베르누이‑가우시안(Bernoulli‑Gaussian) 프로세스를 채택한다. 구체적으로 각 소스 성분 s_i 는 “0에 집중된 원자”와 “평균 0, 분산 σ²인 가우시안”의 가중 혼합으로 표현된다. 이때 혼합 가중치 π 가 희소성을 직접 제어한다. π 가 작을수록 0이 차지하는 비중이 커져 보다 강한 희소성을 부여한다.

혼합 행렬 A 에 대한 사전은 Stiefel 다양체 V_{K,N}(K차원 직교 기저가 N차원 공간에 배치된 집합) 위에 균등(비정보) 사전을 두어, 직교성 제약을 자연스럽게 반영한다. 이는 기존의 가우시안 사전이나 라플라시안 사전과 달리, 행렬 자체가 정규 직교성을 만족하도록 강제한다는 점에서 의미가 크다.

베이지안 추론은 전체 파라미터 θ = {A, s, π, σ², …} 의 사후분포 p(θ|X) 를 MCMC 방식으로 근사한다. 저자들은 “부분 붕괴된(partially collapsed) Gibbs sampler”를 설계했는데, 이는 일부 조건부 분포를 직접 샘플링하지 않고 적분(붕괴)함으로써 마코프 체인의 혼합 속도를 크게 향상시킨다. 구체적으로 s 와 π 를 동시에 업데이트하고, A 를 Stiefel 다양체 위에서 효율적인 회전 행렬 샘플링 기법(예: Householder 변환 기반)으로 갱신한다. 하이퍼파라미터 σ² 도 역감마 사전으로 잡아 공액성을 유지한다.

샘플링이 충분히 수렴하면, 사후 평균 혹은 MAP 추정값을 이용해 최종 소스와 혼합 행렬을 복원한다. 특히 MAP 추정은 “희소성”을 강화하는 사전 구조와 직교성 제약을 동시에 만족하는 해를 제공한다.

실험에서는 합성 데이터(정해진 차원, 알려진 희소도, 다양한 SNR)와 실제 이미지 패치에 대한 언더컴플리트 딕셔너리 코딩을 수행했다. 제안 방법은 기존의 OMP, K‑SVD 기반 언더컴플리트 방법보다 재구성 오차와 지원 회복 정확도에서 현저히 우수했다. 또한, MCMC 샘플링 과정에서 얻은 사후 불확실성(예: 각 성분의 사후 분산)를 활용해 신뢰도 기반의 후처리도 가능함을 시연했다.

이 논문의 주요 기여는 (1) 정규 직교 혼합 행렬을 명시적으로 모델링한 베이지안 프레임워크, (2) 베르누이‑가우시안 사전으로 희소성을 정량적으로 제어한 소스 모델, (3) Stiefel 다양체 사전과 부분 붕괴 Gibbs 샘플러를 결합해 효율적인 추론을 구현한 점이다. 이러한 접근은 언더컴플리트 딕셔너리 상황뿐 아니라, 직교성 제약이 자연스러운 신호 처리·통신·이미지 복원 문제 전반에 적용 가능성을 시사한다.