베이지안 기반 다중 행렬 근사 공동 대각화 기법

초록

본 논문은 대칭이 아니어도 되는 여러 정방 행렬을 동시에 근사 대각화하기 위한 베이지안 모델을 제안한다. 공통 고유벡터와 각 행렬의 고유값을 확률적으로 추정하기 위해 Gibbs 샘플러를 설계하고, 합성 데이터와 실제 응용 사례에서 기존 공동 대각화 알고리즘들을 능가하는 성능을 보였다. 모델 차원 선택은 BIC 기반 근사 로그 주변가능도 추정으로 수행하였다.

상세 분석

이 연구는 공동 대각화(Joint Diagonalization, JD) 문제를 확률적 프레임워크로 재구성함으로써 기존의 결정론적 최적화 접근법이 갖는 지역 최적화 위험과 초기값 의존성을 극복한다. 저자는 먼저 각 행렬 (X_k) 를 공통 고유벡터 행렬 (U) 와 고유값 행렬 (\Lambda_k) 로 표현하는 선형 모델 (X_k = U\Lambda_k U^{-1} + E_k) 를 가정하고, 오차 행렬 (E_k) 를 가우시안 노이즈로 가정한다. 이때 (U) 는 직교(또는 정규화) 제약을 갖는 Stiefel 다양체 위의 변수로, 베타 분포와 같은 적절한 사전분포를 부여한다. 고유값 (\Lambda_k) 에 대해서는 독립적인 정규 사전을 두어 행렬별 스케일 차이를 자연스럽게 포착한다.

베이지안 추론은 사후분포 (p(U,{\Lambda_k}| {X_k})) 를 직접 계산하기 어려운 점을 감안해 Gibbs 샘플링을 도입한다. 구체적으로, 조건부 사후분포 (p(U| {\Lambda_k},{X_k})) 와 (p(\Lambda_k|U,{X_k})) 를 각각 유도하고, 전자는 Stiefel 다양체 위에서의 회전 행렬 샘플링 기법(예: 마르코프 연쇄 몬테카를로(MCMC)에서의 회전 행렬 제안) 을, 후자는 정규 분포 형태이므로 직접 샘플링이 가능하도록 설계하였다. 이 과정에서 각 단계마다 행렬의 비대칭성을 고려해 (U^{-1}) 대신 (U^{\top}) 가 아닌 일반적인 역행렬을 사용함으로써 비대칭 행렬에도 적용 가능하도록 했다.

샘플링이 충분히 수렴하면, 사후 평균 혹은 MAP 추정값을 이용해 공동 고유벡터와 고유값을 얻을 수 있다. 또한, 샘플링 과정에서 로그 주변가능도 (\log p({X_k}|U,{\Lambda_k})) 를 추정할 수 있어 모델 선택에 활용한다. 저자는 정확한 주변가능도 계산이 비용이 크므로 BIC(Bayesian Information Criterion) 근사를 사용했으며, 실험 결과 BIC가 실제 공통 고유벡터 차원을 정확히 식별함을 보였다.

성능 평가에서는 기존의 Pham 알고리즘, AJD(Approximate Joint Diagonalization) 기반 방법, 그리고 최근의 딥러닝 기반 JD와 비교하였다. 제안된 Gibbs 샘플러는 특히 신호 대 잡음비(SNR)가 낮은 상황에서 평균 대각화 오차가 현저히 낮았으며, 수렴 속도도 적절한 사전 설정 하에 몇 천 번의 반복으로 충분히 빠르게 수렴했다.

마지막으로, 제안 방법을 소스 분리(Source Separation), 공통 주성분 분석(Common PCA), 그리고 공통 공간 패턴(Common Spatial Pattern, CSP) 문제에 적용하였다. 각각의 응용에서 얻어진 고유벡터는 물리적 의미를 유지하면서도 기존 방법보다 높은 분류 정확도와 재현성을 제공하였다. 전체적으로 이 논문은 베이지안 관점에서 JD 문제를 체계적으로 다루며, 비대칭 행렬, 모델 차원 선택, 그리고 실제 신호 처리 응용까지 포괄하는 강력한 프레임워크를 제시한다.