특이 통계 모델의 상태 방정식

초록

계층 구조와 숨은 변수를 갖는 학습 기계는 파라미터가 비식별적이어서 Fisher 정보 행렬이 특이점(singular)을 만든다. 이 논문은 베이즈와 깁스 추정에서 정의되는 일반화·학습 오차 네 가지 사이에 보편적인 관계식을 증명하고, 이를 기반으로 정규·특이 모델 모두에 적용 가능한 새로운 정보 기준을 제안한다.

상세 분석

특이 통계 모델은 파라미터 공간이 다중극점(multiple minima)이나 교차점(crossing)으로 이루어져 있어 전통적인 대수적 통계 이론이 적용되지 않는다. 특히, 최대우도추정량(MLE)은 점근적 정규성을 잃고, 베이즈 사후분포도 다변량 정규분포로 수렴하지 않는다. 이러한 비정규성은 일반화 오차를 직접 계산하거나 교차검증을 통해 추정하는 데 큰 장애가 된다. 저자들은 먼저 베이즈 일반화 오차(GB), 베이즈 학습 오차(TB), 깁스 일반화 오차(GG), 깁스 학습 오차(TG) 네 가지 오차를 정의하고, 각각을 기대값 형태로 표현한다. 핵심 정리는 다음과 같다. 첫째, GB와 GG는 각각 TB와 TG에 일정한 상수(λ)만큼 차이가 난다. 둘째, TB와 TG 사이에도 동일한 상수가 존재한다. 이 상수 λ는 모델의 복잡도와 데이터 샘플 수 n에 대한 함수이며, 특이성의 정도를 나타내는 실수 지표인 ‘실제 차원(real log canonical threshold, RLCT)’에 의해 결정된다. 즉, λ = d/2 – γ where d는 파라미터 차원, γ는 RLCT이다. 이러한 관계식은 “상태 방정식(equations of state)”이라 불리며, 어떤 진짜 분포, 어떤 파라메트릭 모델, 어떤 사전분포를 사용하더라도 동일하게 성립한다는 점에서 보편성을 가진다.

또한 저자들은 베이즈와 깁스 학습 오차를 이용해 각각의 일반화 오차를 편향 보정된 추정값으로 복원하는 방법을 제시한다. 구체적으로, GB̂ = TB + λ/n, GĜ = TG + λ/n 와 같이 학습 오차에 λ/n을 더하면 일반화 오차의 무편향 추정량이 된다. 이를 통해 새로운 정보 기준, 즉 ‘베이즈 정보 기준(WIC)’과 ‘깁스 정보 기준(GIC)’을 정의한다. 기존의 AIC, BIC는 정규 모델에만 정확히 적용되지만, 제안된 WIC·GIC는 특이 모델에서도 일관된 모델 선택을 보장한다.

수학적 증명은 대수기하학의 도구인 ‘해석적 해석(analytic continuation)’과 ‘특이점 해석(singularity analysis)’을 활용한다. 특히, 로그-정규화(log-scaling)와 베르누이 변환을 통해 사후분포의 꼬리 행동을 정확히 파악하고, 이를 오차 기대값에 연결한다. 논문은 또한 실험적 검증을 위해 신경망, 혼합 가우시안 모델, 은닉 마르코프 모델 등 다양한 특이 모델에 적용한 결과를 제시한다. 실험에서는 제안된 정보 기준이 기존 기준보다 모델 선택 정확도가 현저히 높으며, 특히 데이터 양이 적을 때 그 차이가 크게 나타난다.

이러한 결과는 특이 모델의 일반화 성능을 이론적으로 예측할 수 있는 새로운 프레임워크를 제공한다는 점에서 의미가 크다. 특히, RLCT라는 기하학적 복잡도 지표가 오차 관계식에 직접 등장함으로써, 모델 설계 단계에서 복잡도와 일반화 사이의 트레이드오프를 정량적으로 평가할 수 있다. 향후 연구에서는 RLCT를 효율적으로 추정하는 알고리즘 개발과, 비베이즈(예: 변분 추정) 방법에 대한 확장 가능성도 기대된다.