신경망 기반 거시화: 느린 잠재 자유도 자동 추출

본 논문은 물리학에서 사용되는 ‘오더 파라미터’와 ‘거시화(coarse‑graining)’ 개념을 딥러닝에 적용해, 원시 시계열 데이터로부터 스스로 의미 있는 잠재 변수들을 추출하는 새로운 프레임워크인 Neural Coarse‑Graining(NCG)를 제안한다. 전통적인 머신러닝은 특정 과업을 위해 설계된 손실 함수를 사용해 모델을 학습한다. 반면, 저자들은 모델이 자체적으로 ‘예측하기 쉬우면서도 정보량이 풍부한’ 변수를 찾도록 손실을 설계한다. 먼저 원시 데이터 \(X_t\)를 변환 함수 \(T_2\)를 통해 확률 분포 \(s_t = T_2(x_t)\) 로 매핑한다. 여기서 \(s_t\)는 소프트맥스 출력으로, 각 차원은 잠재적인 ‘클래스’ 혹은 ‘상태’를 나타낸다. 이 변환은 결정적이므로, 변환된 신호의 엔트로피는 원시 신호가 보존하는 정보량을 직접 반영한다. 다음으로 변환된 시퀀스 \(s_t\)를 이용해 미래 시점 \(s_{t+1}\)를 예측하는 예측기 \(T_1\)를 학습한다. 예측은 동일한 변환 함수를 공유하므로, 예측 정확도는 변환이 얼마나 잘 ‘자기‑예측 가능’한지를 평가한다. 핵심 손실 함수는 두 부분으로 구성된다. 첫 번째는 \(-\langle H(s_t)\rangle\) 로, 변환된 신호의 평균 엔트로피를 최대화해 변환이 가능한 한 많은 정보를 담도록 유도한다. 이는 변환이 모든 입력을 동일한 균일 분포로 매핑하는 trivial solution을 방지한다. 두 번째는 \(\langle \sum_y s_t(y)\log \hat s_t(y)\rangle\) 로, 예측기 \(T_1\)가 실제 변환 분포 \(s_t\)를 얼마나 정확히 재현하는지를 교차 엔트로피(또는 KL 발산) 형태로 측정한다. 이 두 항을 동시에 최소화함으로써, 네트워크는 ‘예측이 쉬우면서도 정보량이 큰’ 변수를 자동으로 발견한다. 정보 이론적 배경으로는 예측 정보 \(I_{\text{pred}} = H(Y_{t+1}) - H(Y_{t+1}|Y_t)\) 와 비자극적 정보 폐쇄(NTIC)를 차용한다. NTIC는 변환된 신호가 자체 미래를 얼마나 잘 설명하는지를 나타내지만, 실제 예측기 \(g\)의 능력을 반영하지 않는다. 따라서 교차 엔트로피 항을 추가해 \(g\)와의 적합성을 동시에 고려한다. 이는 Wolpert 등(2002)의 상태공간 압축 프레임워크와 유사한 접근이다. 구현은 하나의 엔드‑투‑엔드 신경망으로 이루어진다. 입력층 → 여러 은닉층 → 소프트맥스(클래스 확률) = \(T_2\). 이후 두 갈래로 분기한다. 한 갈래는 시간(또는 공간)적으로 오프셋된 \(s_t\)를 그대로 전달하고, 다른 갈래는 추가 은닉층을 거쳐 또 다른 소프트맥스 출력 \(\hat s_{t+1}\)을 만든다. 최종 손실은 전체 배치에 대해 평균화되며, 소프트맥스 온도 조절, 계층적 소프트맥스 등으로 클래스 수가 많을 때 발생하는 평균화 현상을 완화한다. 실험에서는 (1) 잡음이 섞인 시계열에서 노이즈 구간을 자동으로 구분하고, (2) 다중 모드 동역학을 가진 합성 데이터에서 각 모드에 대응하는 클래스를 학습한다. 결과는 NCG가 잡음 구간을 낮은 엔트로피(거의 균일) 클래스로, 의미 있는 동역학 구간을 높은 엔트로피와 구별 가능한 클래스로 자동 분할함을 보여준다. 또한, 변환 차원(클래스 수)을 늘리면 모델이 점진적으로 더 복잡한 구조를 포착하도록 학습이 진행된다. 이 방법의 장점은 라벨이 전혀 없는 비지도 상황에서도 의미 있는 거시 변수를 발견한다는 점, 예측이 어려운 고주파 잡음은 자연스럽게 배제되어 학습이 안정적이라는 점, 그리고 초기에는 매우 단순한 표현으로 시작해 점진적으로 복잡성을 늘린다는 점이다. 한편, 클래스 수와 소프트맥스 온도 선택이 민감하고, 변환이 확률적이므로 연속형 오더 파라미터를 얻기 위해 추가 후처리가 필요할 수 있다는 제한점도 있다. 결론적으로, 이 논문은 ‘스스로 목표를 정의하고 그 목표에 맞춰 학습한다’는 메타‑학습 아이디어를 구체적인 손실 설계와 신경망 구조로 구현함으로써, 물리학적 coarse‑graining 개념을 현대 딥러닝에 성공적으로 통합한 사례라 할 수 있다. 향후 연구에서는 더 복잡한 시공간 구조, 멀티모달 데이터, 그리고 연속형 오더 파라미터를 직접 추출하는 방법으로 확장할 가능성이 제시된다.