정준·미시정준 모델의 서술 길이 비교와 비등가성 효과

초록

본 논문은 엔트로피 최대화에 기반한 정준(soft constraint)과 미시정준(hard constraint) 모델을 최소 서술 길이(MDL) 원칙으로 비교한다. 정준 모델은 로그우도는 낮지만 복잡도는 작으며, 미시정준 모델은 우도는 높지만 복잡도가 크게 증가한다. 두 모델의 서술 길이 차이는 제약 조건의 실현 정도에 따라 달라지며, 열역학적 극한에서 비등가성이 존재하면 차이는 지속된다. 또한 베이지안 접근에서 사전 선택이 비등가 상황에서 결과에 큰 영향을 미친다.

상세 분석

논문은 먼저 정준(average‑constraint)과 미시정준(exact‑constraint) 최대 엔트로피 모델을 정의하고, 이들을 정보이론적 모델 선택 기준인 최소 서술 길이(MDL) 프레임워크에 넣는다. MDL은 데이터에 대한 최단 코딩 길이를 최소화하는 모델을 선택하도록 설계되었으며, 여기서는 정규화 최대 가능도(NML) 분포를 이용해 서술 길이 DL = −ln L + COMP 형태로 전개한다. L은 최대 가능도, COMP는 파라미터 복잡도(모델이 모든 가능한 데이터에 대해 최대 가능도를 취한 합의 로그)이다.

정준 모델은 제약을 평균값으로 만족시키므로 파라미터 공간이 연속적이며, 복잡도는 제약 수에 비례한다. 반면 미시정준 모델은 제약을 정확히 만족시키는 구성만을 허용하므로 확률 질량이 균등하게 분포하고, 가능한 구성 수 Ω(c) 에 역비례한다. 따라서 미시정준 모델은 로그우도 −ln Ω(c) 가 정준보다 항상 크지만, 복잡도 항 COMP 은 Ω(c)와 가능한 제약값 집합 C 의 크기에 따라 급격히 증가한다.

핵심 결과는 (i) 미시정준 모델이 항상 더 높은 우도를 제공하지만 복잡도도 더 크다는 점, (ii) 최적 모델 선택은 관측된 제약값 c* 가 정준 모델의 평균 적합도보다 얼마나 초과하는가에 따라 달라진다는 점이다. 특히 열역학적 극한(N→∞)에서 두 모델이 엔트로피 수준에서 등가하면 KL 발산과 로그우도 차이가 사라져 서술 길이 차이 역시 소멸한다. 그러나 제약이 광범위하게(예: 행별 합) 존재하면 비등가성이 유지되고, KL 발산이 유한하게 남아 서술 길이 차이가 O(N) 규모로 지속된다.

베이지안 관점에서는 사전 분포가 정준·미시정준 모델 간 차이를 거의 만들지 않지만, 제약 수가 시스템 규모와 동등하게 증가할 때는 사전 선택이 사후 확률에 큰 영향을 미쳐 모델 선택이 크게 달라진다. 이는 비등가 상황에서 사전이 암묵적으로 복잡도 조절 역할을 함을 의미한다.

결론적으로, 정준·미시정준 모델은 단순히 우도만 비교해서는 구분될 수 없으며, 복잡도와 KL 발산을 포함한 전체 서술 길이를 고려해야 비등가성의 존재 여부와 모델 선택에 대한 정확한 판단이 가능하다.