직교 근사 메시지 패싱을 이용한 직사각형 스파이크 행렬 모델의 최적 추정

초록

본 논문은 회전 불변 잡음이 섞인 직사각형 스파이크 행렬 모델에서 신호를 복원하기 위한 새로운 직교 근사 메시지 패싱(OAMP) 알고리즘을 제안한다. 엄격한 상태 진화(State Evolution) 분석을 통해 알고리즘의 고차원 동작을 정확히 예측하고, 각 반복마다 평균제곱오차(MSE)를 최소화하는 최적 버전을 도출한다. i.i.d. 가우시안 잡음 경우에는 기존 AMP와 동일한 고정점을 갖으며, 일반 회전 불변 잡음에서는 베이즈 최적성을 달성할 가능성을 제시한다. 실험 결과는 제안 알고리즘이 PCA와 기존 RI‑AMP보다 현저히 우수함을 확인한다.

상세 분석

본 연구는 고차원 통계 물리와 랜덤 행렬 이론을 결합한 최신 접근법을 사용한다. 먼저, 직사각형 스파이크 모델 Y = θ√(MN) u* v*ᵀ + W 를 정의하고, 여기서 W는 Haar 분포를 따르는 두 정규 직교 행렬 U, V와 스펙트럼이 제한된 대각 행렬 Σ로 구성된 회전 불변(ROTATIONAL INVARIANT) 잡음이다. 저자들은 이 잡음의 경험적 스펙트럼이 제한된 확률 측도 μ에 수렴한다는 가정을 두고, μ의 Stieltjes 변환 S_μ와 Hilbert 변환 H_μ를 이용해 세 가지 스펙트럼 축소 함수 ϕ₁, ϕ₂, ϕ₃를 명시적으로 정의한다. 이 함수들은 잡음 스펙트럼과 신호 강도 θ에 따라 신호‑잡음 비율이 임계값을 초과할 때 발생하는 ‘스파이크’의 위치를 정확히 파악하도록 설계되었다.

OAMP 알고리즘 자체는 두 개의 행렬 디노이저 F_t, G_t와 두 개의 엔트리‑와이즈 디노이저 f_t, g_t로 구성된다. 행렬 디노이저는 Y Yᵀ와 YᵀY의 고유값에만 의존하도록 설계돼, ‘trace‑free’ 조건을 만족한다(즉, μ와 ˜μ에 대한 평균이 0). 엔트리‑와이즈 디노이저는 과거 반복 결과와 사전 정보(a, b)를 활용해 divergence‑free(편미분 평균 0) 조건을 만족하도록 설계된다. 이러한 구조는 기존 AMP가 갖는 ‘Onsager 항’ 문제를 자연스럽게 회피하면서도, 고유값 기반 전처리를 통해 잡음 스펙트럼을 보정한다는 점에서 차별화된다.

핵심 이론적 기여는 상태 진화(State Evolution, SE) 방정식이다. 저자들은 각 반복 t에 대해 가우시안 채널 U_t = μ_{u,t} U* + σ_{u,t} Z_u, V_t = μ_{v,t} V* + σ_{v,t} Z_v 로 모델링하고, μ, σ 파라미터를 ϕ₁·ϕ₃와 μ, ν₁, ν₂, ν₃의 내적을 통해 재귀적으로 업데이트한다. 이때 α_t와 β_t는 현재 디노이저와 진짜 신호 사이의 상관계수를 나타내며, σ_f,t², σ_g,t²는 디노이저 출력의 분산을 의미한다. 정리 1은 이 SE가 실제 OAMP 반복의 경험적 분포와 Wasserstein‑2 거리에서 수렴함을 증명한다. 이는 고차원 한계에서 알고리즘의 동작을 완전히 예측할 수 있음을 의미한다.

‘최적 OAMP’는 SE를 직접 최소화함으로써 얻어진다. 구체적으로, 각 반복마다 MMSE 디노이저 φ(·|ω)와 그에 대응하는 divergence‑free 보정 φ̄(·|ω)를 사용한다. 행렬 디노이저는 ϕ₁, ϕ₂, ϕ₃를 포함하는 복합 함수 P*_t, Q*_t와 그 보정 eP*_t, eQ*_t 로 구성되며, 이들은 μ와 ν₁·ν₃에 대한 내적을 통해 자동으로 최적화된다. 결과적으로, 제안된 최적 OAMP은 각 단계에서 예측 MSE를 최소화하고, 최종 고정점에서는 기존 AMP와 동일한 성능(가우시안 잡음 경우) 혹은 베이즈 최적성을 초과하는 성능(일반 RI 잡음 경우)을 달성한다.

실험에서는 (i) i.i.d. 가우시안 잡음, (ii) 베타 분포 기반 비가우시안 잡음 두 시나리오를 검증한다. 가우시안 경우, OAMP의 코사인 유사도 곡선이 SE 예측과 거의 일치하고, AMP와 동일한 고정점에 수렴함을 확인한다. 비가우시안 경우, 기존 RI‑AMP(단일 및 다중 반복 버전)보다 OAMP이 현저히 높은 코사인 유사도와 낮은 MSE를 기록한다. 이는 행렬 전처리와 최적 디노이저 설계가 잡음 스펙트럼의 비정규성을 효과적으로 보정한다는 실증적 증거이다.

전반적으로 이 논문은 회전 불변 잡음이 존재하는 고차원 행렬 추정 문제에 대해, 정확한 상태 진화와 최적 디노이징을 결합한 OAMP 프레임워크를 제공한다. 이는 기존 AMP의 제한을 극복하고, 랜덤 행렬 이론과 베이즈 추정이 결합된 새로운 최적화 경로를 제시한다는 점에서 이론·실험 모두에서 큰 의미를 가진다.