불균형 교차 설계에서 공분산 행렬 역의 새로운 해법

초록

본 논문은 두 개 이상의 범주형 요인이 교차된 불균형 데이터에서 선형 혼합 모델의 공분산 행렬 V 의 정확한 역 V⁻¹ 을 구하는 오랜 난제를 해결한다. Khatri‑Rao 곱을 이용해 V 를 구조화하고, 블록 대각형 형태의 수정 공분산 행렬을 정의해 정확한 스펙트럼 분해를 얻는다. 이를 기반으로 비대칭(비대규모) 설계에 대한 근사식과, 약간의 불균형에서는 높은 정확도의 근사, 심한 불균형에서는 저‑랭크 보정 형태의 정확한 표현을 제시한다. 시뮬레이션을 통해 근사의 정확성, 수치적 안정성 및 계산 효율성을 검증하였다.

상세 분석

이 연구는 교차(random) 효과가 존재하는 두 차원(행·열) 교차 설계에서 관측값의 공분산 행렬 V 가 셀마다 관측 수 mᵢⱼ 가 달라지는 불균형 상황에서는 완전하게 조밀(dense)하고, 기존의 Kronecker 기반 표현이 적용되지 않아 V⁻¹ 을 명시적으로 구하기가 사실상 불가능하다는 점에 주목한다. 저자들은 먼저 Khatri‑Rao 곱(⊛)을 도입해 Z 행렬(랜덤 효과 디자인 행렬)을 블록‑수준에서 표현함으로써 V = σ²ₑ Iₙ + D 의 형태를 정확히 기술한다. 여기서 D 는 행·열·상호작용 효과에 의해 생성되는 저‑랭크 구조이지만, 셀 크기의 비균등성 때문에 블록 간 스케일이 서로 달라 일반적인 저‑랭크 전치법칙을 적용하기 어렵다.

이를 극복하기 위해 저자들은 대각 성분을 σ²ₑ Iₙ 에서 셀별 크기에 비례하는 블록 대각 행렬 σ²ₑ U I_{M m} 으로 교체한 수정 공분산 행렬 \breve V 을 정의한다. 균형 설계에서는 두 행렬이 동일하므로 근본적인 모델 특성을 손상시키지 않으며, 불균형 상황에서는 각 셀의 샘플링 밀도에 맞춘 “스무딩” 효과를 제공한다. 핵심은 \breve V 이 \tilde I_m \breve V \tilde I_m 형태로 변환될 때, 블록 구조가 정규화된 직교 기저(τ_α, τ_β, τ_γ)와 결합해 완전한 스펙트럼 분해가 가능하다는 점이다. 저자는 8개의 직교 서브스페이스(C₁~C₈)를 구성하고, 각각에 대한 고유값을 명시적으로 도출함으로써 \breve V⁻¹ 을 닫힌 형태로 얻는다.

이 스펙트럼 결과를 바탕으로 두 가지 근사 전략을 제시한다. 첫째, “비대칭(large‑asymptotic) 불균형”에서는 σ²ₑ U I_{M m} 과 D 의 비율이 일정하게 수렴한다는 가정 하에, 고유값 중 가장 큰 몇 개만 보존하고 나머지는 무시하는 저‑랭크 근사를 사용한다. 둘째, “경미한 불균형”에서는 전체 고유값을 이용한 정확한 근사식에, V 와 \breve V 의 차이인 대각 행렬 Δ = σ²ₑ(Iₙ − U I_{M m}) 을 Neumann 급수 전개로 처리한다. 이때 급수의 첫 번째 항만 사용해도 오차가 미미하며, 급수 전개가 수렴하지 않을 경우 저‑랭크 보정 행렬을 추가해 정확성을 회복한다.

시뮬레이션에서는 다양한 g, h, mᵢⱼ 조합을 통해 근사식의 상대 오차, 조건수, 연산 시간 등을 비교하였다. 결과는 제안된 근사가 기존의 반복적 근사법이나 완전 수치 역행렬 계산에 비해 10~100배 빠르면서도 평균 상대 오차가 10⁻⁴ 이하로 매우 정확함을 보여준다. 또한, 저‑랭크 보정이 적용된 경우 극단적인 불균형(예: 일부 셀에 1개 관측, 다른 셀에 100개 관측)에서도 수치적 안정성을 유지한다.

이 논문은 Khatri‑Rao 곱을 통한 블록‑수준 행렬 표현, 수정 공분산 행렬의 설계, 그리고 고유값 기반 저‑랭크 근사의 결합이라는 세 가지 혁신적 아이디어를 결합해, 불균형 교차 설계에서의 V⁻¹ 문제를 처음으로 해석적·계산적으로 해결한다는 점에서 통계학·계량경제학·머신러닝 분야에 큰 파급 효과를 기대한다.