행렬 분해 차원 선택을 위한 양방향 교차검증

초록

본 논문은 행렬의 외적 모델, 특히 특이값 분해(SVD)와 비음수 행렬 분해(NMF)에서 적절한 차원(랭크)을 선택하기 위한 새로운 양방향 교차검증(BCV) 방법을 제안한다. 행과 열을 동시에 일부 제외하고, 남은 데이터로 제외된 원소들을 저랭크 근사로 예측한다. 이 과정에서 예측 오차를 저랭크 근사의 잔차로 표현하는 자기일관성 정리를 증명하고, 랜덤 행렬 이론과 실험을 통해 홀드아웃 비율이 과적합·과소적합에 미치는 영향을 분석한다. 시뮬레이션 결과, 행·열을 각각 절반씩 제외하는 방식이 전반적으로 좋은 성능을 보인다.

상세 분석

이 연구는 행렬 분해 모델에서 차원을 결정하는 문제를 ‘양방향 교차검증(bi‑cross‑validation, BCV)’이라는 새로운 프레임워크로 접근한다. 기존의 교차검증이 행만을 제외하고 열 전체를 사용해 예측을 수행한다면, BCV는 행과 열을 동시에 일정 비율로 제외하고, 남은 서브매트릭스로부터 제외된 원소들을 복원한다. 구체적으로, 원본 행렬 (X)를 네 개의 블록으로 분할하고, (X_{11}) (보존된 블록)으로 저랭크 근사 (\hat X_{11}=U_r D_r V_r^{\top})를 구한 뒤, 이를 이용해 제외된 블록 (X_{22})를 ( \hat X_{22}=X_{21}\hat X_{11}^{+}X_{12}) 형태로 예측한다. 여기서 (\hat X_{11}^{+})는 의사역이며, 이 과정에서 발생하는 예측 오차는 (|X_{22}-\hat X_{22}|_F) 로 측정된다.

핵심 이론적 기여는 ‘자기일관성(self‑consistency)’ 정리이다. 이 정리는 BCV 예측 오차가 실제 저랭크 근사의 잔차와 정확히 일치함을 보여준다. 즉, BCV가 단순히 경험적 검증이 아니라, 저랭크 근사의 품질을 직접적으로 측정하는 통계적 도구임을 증명한다. 이 정리는 행렬이 정확히 랭크 (r)인 경우 오차가 0이 되고, 잡음이 존재할 경우 오차가 잡음 수준과 랭크 선택에 따라 어떻게 변하는지를 정량화한다.

또한, 저자들은 랜덤 행렬 이론을 활용해 홀드아웃 비율이 오버피팅과 언더피팅에 미치는 영향을 분석한다. 작은 홀드아웃 비율(예: 10 % 행·열)에서는 남은 데이터가 충분히 풍부해 저랭크 근사가 과도하게 복잡해지는 경향이 있어 오버피팅 위험이 커진다. 반대로 큰 홀드아웃 비율(예: 70 % 이상)에서는 남은 데이터가 부족해 근사 정확도가 떨어지고, 언더피팅이 발생한다. 이러한 이론적 통찰은 실험적으로도 확인되었으며, 특히 행·열을 각각 50 %씩 제외하는 ‘반반 BCV’가 SVD와 NMF 모두에서 가장 안정적인 랭크 선택을 제공한다는 결론을 도출한다.

NMF에 대한 적용에서도 중요한 차별점이 있다. NMF는 비음수 제약 때문에 고유값 분해와 달리 해가 비선형적이며, 지역 최소점에 수렴할 위험이 있다. BCV는 이러한 비선형성을 그대로 유지하면서도, 각 홀드아웃 블록에 대해 비음수 제약을 만족하는 저랭크 근사를 구하도록 설계되었다. 실험에서는 NMF의 경우에도 BCV가 기존의 정보 기준(AIC, BIC)이나 고전적인 교차검증보다 더 일관된 랭크 선택을 제공함을 보여준다.

마지막으로, 저자들은 계산 복잡도 측면에서도 BCV가 실용적임을 강조한다. 행·열을 절반씩 제외하면 각 서브매트릭스의 크기가 원본의 1/4이 되므로, 저랭크 근사 연산이 크게 가벼워진다. 이는 대규모 데이터셋에서도 BCV를 적용할 수 있는 근거가 된다. 전체적으로 이 논문은 행렬 분해 모델의 차원 선택 문제에 대한 이론적 기반을 강화하고, 실용적인 알고리즘 설계까지 제시함으로써 통계학, 머신러닝, 신호처리 분야에 중요한 기여를 한다.