최소 설명 길이 원칙을 이용한 저차원 행렬 모델 선택

초록

본 논문은 저차원(저‑랭크) 행렬 모델링에서 적절한 랭크를 선택하는 기준이 부족한 문제를 최소 설명 길이(MDL) 원칙으로 해결한다. RPCA 기반의 강인한 저‑랭크 분해를 수행하고, 분해된 행렬을 SVD 형태로 인코딩하면서 각 구성요소(특이값, 좌·우 특이벡터, 희소 오차 행렬)의 확률 모델을 정의한다. 전체 코딩 길이를 최소화하는 랭크가 최적 모델로 선택되며, 영상 배경 추출 실험을 통해 실용성을 입증한다.

상세 분석

이 연구는 저‑랭크 행렬 모델링에서 “얼마나 낮은 랭크가 적절한가?”라는 모델 선택 문제를 정보이론적 프레임워크인 최소 설명 길이(MDL) 원칙으로 공식화한다. 기존 RPCA는 ‑ℓ₁‑ 페널티와 핵노름 정규화를 결합해 관측 행렬 Y를 저‑랭크 행렬 X와 희소 오차 행렬 E로 분해한다. 그러나 λ 파라미터에 의해 결정되는 랭크는 실제 데이터에 따라 달라지며, 교차 검증 등 외부 기준에 의존하면 최종 응용 단계와의 복합적인 상호작용 때문에 최적성을 보장하기 어렵다.

MDL은 “데이터를 가장 짧게 압축할 수 있는 모델이 가장 좋다”는 원칙에 기반한다. 저‑랭크 행렬 X를 축소된 SVD X = U Σ Vᵀ 로 표현하고, Σ의 대각 원소는 양의 정수로 양자화한 뒤 보편적인 정수 코딩(L(j)=log* j)으로 길이를 산정한다. U와 V는 각각 m‑차원·n‑차원 단위 구면 위에 균등 분포한다고 가정하고, 구면 캡 면적을 이용해 각 원소의 누적분포함수(F)와 셰넌 코드를 유도한다. 이는 고차원 구면에서의 정밀한 확률 모델링을 제공한다.

또한 영상 데이터와 같이 공간적·시간적 연속성이 존재할 경우, U와 V에 대한 예측 코딩을 도입한다. U의 각 열을 이미지 형태로 재구성하고 인접 픽셀 간의 인과적 이중선형 예측을 수행해 잔차를 라플라시안 분포로 모델링한다. V는 시간 축을 따라 1차 예측(전 프레임 차분)으로 잔차를 만든 뒤 동일한 라플라시안 모델을 적용한다. 파라미터가 알려지지 않은 경우는 두 부분 코딩(two‑part code)으로 처리해 파라미터 자체도 코딩 비용에 포함시킨다.

희소 오차 행렬 E는 비영점 위치를 열거 코딩(Enumerative Code)으로 압축하고, 비영점 값은 라플라시안 모델로 코딩한다. 이렇게 정의된 전체 코딩 길이 L(Y|X)=L(U)+L(Σ)+L(V)+L(E) 를 λ를 변화시키며 RPCA를 여러 번 수행해 얻은 후보 모델들에 대해 계산하고, 최소값을 갖는 모델의 랭크를 최적으로 선택한다.

알고리즘적으로는 기존 ALM(augmented Lagrangian method) 기반 RPCA 솔버에 워밍 스타트(warm‑restart)를 적용해 λ가 감소할 때마다 이전 해를 초기값으로 사용함으로써 연속적인 최적화를 효율적으로 수행한다. 실험에서는 감시 카메라 영상의 배경을 저‑랭크 성분으로, 움직이는 사람을 희소 오차로 해석한다. 조명 변화·그림자·반사 등으로 인해 배경의 실제 랭크가 1보다 크게 증가하지만, MDL 기반 선택은 적절한 랭크(k≈10)를 자동으로 찾아내어 배경·전경을 명확히 분리한다.

핵심 기여는 (1) 저‑랭크 행렬 선택을 위한 객관적, 파라미터‑프리 기준을 제시, (2) SVD 구성요소와 희소 오차에 대한 정밀한 확률 모델링 및 코딩 스킴을 설계, (3) 영상 처리와 같이 구조적 선행지식이 존재할 때 이를 자연스럽게 통합하는 예측 코딩 방법을 도입, (4) 실용적인 워밍 스타트 기반 알고리즘을 제공한다는 점이다. 이러한 접근은 저‑랭크 행렬 완전성 문제뿐 아니라, 다양한 데이터 마이닝·컴퓨터 비전 응용에서 모델 복잡도와 일반화 성능 사이의 균형을 이론적으로도 실험적으로도 뒷받침한다.