작업 관련 잠재 차원 추정을 위한 혼합 비평자와 정보 병목 접근법

초록

이 논문은 예측 과제에서 필요한 최소 잠재 차원을 정보 병목(Symmetric Information Bottleneck) 관점으로 정의하고, 기존 신경망 기반 상호 정보(MI) 추정기의 한계를 분석한다. 분리형/이중선형 비평자는 차원을 과대 추정하는 경향이 있음을 보이고, 명시적 차원 병목을 유지하면서 비선형 교차 상호작용을 허용하는 혼합 비평자를 제안한다. 혼합 비평자를 이용해 하나의 과잉 파라미터 모델만으로도 효과적인 차원을 한 번에 읽어내는 ‘원샷’ 프로토콜을 설계한다. 합성 데이터와 물리학 데이터(이징 모델, 진자 영상)에서 실험을 수행해 제안 방법이 기존 기하학적 차원 추정기보다 노이즈에 강인함을 입증한다.

상세 분석

논문은 “작업 관련 차원(task‑relevant latent dimensionality)”이라는 개념을 정보 병목 문제로 전환한다. 두 뷰 X와 Y(예측 변수와 목표 변수)가 주어졌을 때, 압축된 표현 Z_X = f(X), Z_Y = g(Y) 가 원본 뷰 사이의 상호 정보를 거의 보존하도록 하는 최소 차원 k_z 를 찾는 것이 목표이다. 이를 위해 최근 활발히 사용되는 신경망 기반 MI 추정기, 특히 Donsker‑Varadhan 기반의 InfoNCE를 채택한다. 그러나 기존 비평자 설계는 두 가지 문제가 있다. 첫째, 완전 연결(concatenated) 비평자는 명시적 차원 병목이 없어 k_z 를 직접 해석할 수 없으며, 둘째, 분리형(bilinear) 비평자는 g_X·g_Y 형태의 내적만을 사용하므로 비선형 의존성을 표현하려면 차원을 인위적으로 늘려야 한다. 실험적으로는 단순 가우시안 잠재와 다중 모드 가우시안 혼합 잠재를 사용해, 분리형 비평자는 실제 차원 K_Z 보다 1~2 차원 크게 포화점 k*​z 를 보이며 과대 추정한다. 반면 제안된 혼합 비평자 T_hybrid(x,y)=T_θ(