베이지안 요인분해를 위한 L반분의 일 제곱 수축

본 논문은 베이지안 요인 분석 모델에서 무한히 많은 잠재 요인을 허용하면서도 각 요인에 대한 로딩을 열 인덱스가 커짐에 따라 점진적으로 0에 수축시키는 ‘증가 수축(increasing shrinkage)’ 특성을 구현하고자 한다. 기존의 다중 감마 과정(MGP) 사전은 이러한 목표를 달성했지만, 전역·국부 수축 파라미터가 복잡하게 얽혀 있어 Gibbs 샘플링이나 변분 추정 시 계산 비용이 크게 증가하는 단점이 있었다. 이를 해결하기 위해 저자들은 L반분의 일 제곱(L₁/₂) 수축 사전을 도입한다. L₁/₂ 사전은 Ke와 Fan(2025)이 제안한 것으로, 로딩 λ_{jk}에 대해 가우시안 혼합 형태를 갖고, 전역 수축 파라미터 τ_j와 로컬 파라미터 φ_{jk}가 각각 Gamma와 Exp‑Gamma 혼합으로 정의된다. 핵심 아이디어는 τ_j의 하이퍼 사전 파라미터를 열 인덱스 j에 따라 점진적으로 증가시키는 것이다. 구체적으로 τ_j ∼ Gamma(α, β_j)이며, β_j는 또 다른 Gamma 사전으로 설정해 τ_j가 j가 커질수록 평균적으로 더 큰 값을 갖게 만든다. 이렇게 하면 λ_{jk}의 분산이 τ_j^{-1} φ_{jk}^{-1} 형태로, τ_j가 커질수록 로딩이 더 강하게 0에 수축된다. 수학적 성질을 검증하기 위해 논문은 여러 정리와 보조정리를 제시한다. Lemma 2.1은 전역·국부 파라미터가 양의 실수 전체를 지원함을 보이며, Theorem 2.2는 로딩 행렬을 유한한 열 수 k₀로 트렁케이트했을 때, 원래 무한 차원 행렬과의 차이가 sup‑norm 기준으로 임의의 작은 ε만큼 줄어들 수 있음을 증명한다. 이는 실제 계산에서 무한 차원을 근사하는 데 충분히 정당성을 제공한다. Lemma 2.3은 L₁/₂ 사전이 MGP 사전과 달리 확률 수준에서도 ‘증가 수축’ 특성을 유지한다는 점을 강조한다. Theorem 2.4는 사전이 임의의 공분산 행렬 주변에 양의 확률을 할당함을 보이며, 이는 베이지안 일관성(weak consistency) 증명에 필수적인 조건이다. 추론 방법은 두 갈래로 나뉜다. 첫 번째는 정확한 Gibbs 샘플러이다. 로딩 λ_{jk}, 전역 파라미터 τ_j, 로컬 파라미터 φ_{jk}, 그리고 오차 공분산 Σ에 대해 각각의 조건부 사후 분포가 표준 분포(Inv‑Gamma, Normal, Inv‑Gaussian 등) 형태임을 이용해 순차적으로 샘플링한다. 특히 전역·국부 파라미터가 서로 독립적인 조건부 구조를 갖는 점은 MGP와 CSP 사전에서는 찾아볼 수 없는 장점이며, 이는 샘플링 효율을 크게 향상시킨다. 두 번째는 대규모 데이터에 적합한 변분 추정법이다. 저자들은 전역·국부 파라미터를 완전히 통합(폐쇄)한 ‘collapsed variational inference’를 설계한다. 평균‑필드 가정 하에 ELBO를 정의하고, L₁/₂ 사전의 로그 항이 비분화 가능하고 비-Lipschitz 특성을 가지므로 직접 최적화가 어려워, Lemma 4.1을 통해 하한을 도출한다. 이 하한은 로컬 2차 근사와 유사한 형태이며, Bonnet‑Price 정리를 활용해 변분 파라미터(μ, Σ 등)에 대한 그래디언트를 얻는다. 또한, 정밀도 행렬이 양정(positive‑definite) 제약을 위반하지 않도록 MM 알고리즘을 적용한다. 변분 파라미터는 좌표 상승(coord‑ascent) 방식으로 순차 업데이트되며, 각 단계마다 닫힌 형태의 업데이트 식이 존재한다. 실험에서는 두 종류의 데이터셋을 사용한다. (1) 시뮬레이션 데이터: 다양한 차원(p=50,100)과 요인 수(K=5~20)를 설정해 MGP, 스파이크‑앤‑슬랩, CSP와 비교한다. 결과는 L₁/₂ 사전이 요인 차원 선택 정확도와 로딩 복원 정확도에서 우수함을 보여준다. 특히 변분 알고리즘은 Gibbs 샘플러 대비 10~15배 빠른 실행 시간을 기록하면서도 추정 정확도 손실이 미미했다. (2) 실제 데이터: 유전학 마이크로어레이 데이터와 경제 시계열 데이터를 적용했다. 여기서도 제안 방법은 기존 베이지안 요인 모델보다 더 적은 요인으로 비슷한 혹은 더 나은 설명력을 제공했으며, 계산 시간과 메모리 사용량에서도 현저히 효율적이었다. 결론적으로, L₁/₂ 수축 사전은 베이지안 요인 모델에 간단하면서도 강력한 증가 수축 특성을 부여한다. 전역·국부 파라미터가 독립적인 구조를 갖기 때문에 Gibbs 샘플링이 효율적이며, 폐쇄형 변분 추정법을 통해 대규모 데이터에서도 실용적인 계산 속도를 달성한다. 이 연구는 고차원 데이터 분석에서 요인 차원을 자동으로 선택하고, 계산 효율성을 동시에 만족시키고자 하는 연구자들에게 중요한 방법론적 기여를 제공한다.