정보가 코프만 표현을 형성한다

초록

**
본 논문은 코프만 연산자의 무한 차원 특성을 유한 차원 잠재공간에 투사할 때 발생하는 표현 학습의 불안정을 정보병목(IB) 관점에서 재해석한다. 잠재 변수의 상호정보량은 단순성을, 반면 von Neumann 엔트로피는 표현의 다양성과 효과적 차원을 보장한다는 이론적 근거를 제시하고, 이를 균형 있게 최적화하는 라그랑지안 손실 함수를 도입한다. 제안 알고리즘은 다양한 물리·시각·그래프 기반 동역학 시스템에서 기존 코프만 학습 방법보다 예측 정확도와 해석 가능성을 크게 향상시킨다.

**

상세 분석

**
이 논문은 코프만 연산자를 딥러닝 프레임워크에 통합하려는 시도가 직면한 핵심 문제를 ‘표현의 단순성 vs. 표현의 풍부성’이라는 두 축으로 명확히 구분한다. 기존 VAE·β‑VAE 기반 접근법은 입력 x와 잠재 변수 z 사이의 상호정보량 I(x;z)를 최소화하면서 재구성 손실을 최소화하는데 초점을 맞춘다. 그러나 코프만 학습에서는 zₙ₋₁ → zₙ 이라는 선형 전이와 zₙ → xₙ 이라는 디코더가 동시에 요구되므로, 단순히 정보량을 줄이는 것만으로는 시간적 일관성(temporal coherence)과 구조적 일관성(structural consistency)을 보장할 수 없다.

논문은 먼저 Proposition 1을 통해 I(xₙ₋₁;xₙ) ≥ I(zₙ₋₁;xₙ) ≥ I(zₙ₋₁;zₙ) 라는 연쇄적 정보 손실 관계를 증명한다. 여기서 I(zₙ₋₁;zₙ) 은 코프만 연산자 K 가 잠재공간에서 유지할 수 있는 최대 정보량을 의미한다. 이어 Proposition 2에서는 KL 발산을 이용해 전체 궤적 분포 차이를 총 변동 거리(TV)로 상한을 잡고, 그 상한이 각 시점의 정보 격차 I(xₙ₋₁;xₙ) − I(zₙ₋₁;zₙ) 의 합으로 표현된다는 점을 보여준다. 즉, 잠재공간에서 손실된 정보가 바로 예측 오류의 근원이라는 정량적 연결 고리를 제공한다.

핵심적인 이론적 기여는 Proposition 3에서 제시된 정보‑스펙트럼 분해이다. 잠재 상호정보 I(zₜ;xₜ) 를 세 가지 스펙트럴 컴포넌트(시간‑일관성, 빠른 소멸, 잔여)로 분해함으로써, 코프만 연산자의 고유값 λ 중 |λ|≈1인 ‘보존 모드’가 장기적인 정보 전달을 담당하고, |λ|<1인 ‘소멸 모드’는 빠르게 사라지며, λ에 대응되지 않는 성분은 잡음에 해당한다는 물리적 직관을 수학적으로 정립한다.

이때 **상호정보량(I)**은 단순성을 촉진한다. 과도하게 I를 최소화하면 잠재공간이 소수의 주축 모드에 집중(모드 붕괴)하게 된다. 반면 **von Neumann 엔트로피(S)**는 ρ = Cov(z)/tr(Cov(z))와 같은 정규화된 공분산 행렬의 스펙트럼을 기반으로, 잠재 차원의 ‘균등성’을 측정한다. S가 높을수록 정보가 여러 고유벡터에 고르게 분포되어 모드 다양성을 유지한다. 따라서 논문은 Lagrangian
\