행동 기반 표현으로 풀어내는 차원 분리

초록

본 논문은 물리 실험에서 수행되는 행동(실험) 정보를 활용해 잠재 변수의 독립성을 보장하는 “행동 유도 표현(AIR)” 이론을 제시하고, 이를 구현한 변분형 AIR(VAIR) 모델을 설계한다. AIR는 행동에 따라 필요한 잠재 차원만을 활성화하도록 설계되어, 최소 AIR(minAIR) 조건을 만족하면 잠재 변수는 행동 의존도에 따라 자동으로 분리된다. 실험에서는 추상 벤치마크와 고전 입자 궤적 복원, 양자 상태 토모그래피 등 세 가지 물리 시나리오에서 기존 VAE 변형들을 능가하는 해석 가능하고 분리된 표현을 얻었다.

상세 분석

이 논문은 비선형 독립 성분 분석(ICA)의 근본적인 한계에 주목한다. 비선형 ICA는 관측 데이터와 잠재 요인 사이의 비선형 매핑이 존재할 경우, 요인들을 고유하게 복원하는 것이 이론적으로 불가능함을 보여준다. 저자들은 이 문제를 회피하기 위해 “행동(action)”이라는 외부 정보를 도입한다. 물리 시스템에 대한 실험은 특정 자유도에만 영향을 미치며, 이러한 행동-결과 쌍을 데이터셋으로 구성하면 잠재 변수와 행동 사이의 구조적 연관성을 명시적으로 모델링할 수 있다.

핵심 이론적 정의는 다음과 같다. 입력 데이터 매니폴드 X와 잠재 요인 매니폴드 C가 존재하고, 각 행동 a∈A에 대해 결정론적 매핑 yₐ = fₐ(x) 가 정의된다. 행동 집합 A의 조합 𝒜⊆𝒫(A)마다 서로 다른 출력 매니폴드 Y_𝒜가 형성된다. 여기서 “행동 유도 표현(AIR)”은 연속 잠재 공간 Z와 매핑 ψ:X→Z, 그리고 각 행동 조합에 대한 투사 π_𝒜:Z→Z_𝒜와 디코더 ϕ_𝒜:Z_𝒜→Y_𝒜가 존재해 (ϕ_𝒜∘π_𝒜∘ψ)(x)=y_𝒜(x) 를 만족하는 구조이다.

특히 “최소 AIR(minAIR)”는 두 가지 조건을 만족한다. (1) ψ가 전사이며, 잠재 차원의 수 d_Z가 모든 행동에 사용되는 인덱스 집합 I_𝒜의 합과 일치한다. (2) Z가 ℝ^{d_Z}의 열린 집합이며, 각 ϕ_𝒜가 연속적이고 가역적이다. 이 조건은 잠재 변수가 과잉 파라미터화되지 않으며, 각 행동에 필요한 차원만이 실제로 사용된다는 것을 보장한다.

주요 정리(Theorem 1)는 두 개의 minAIR (Z,ψ,…)와 (C,ψ,…)가 주어질 때, 동일한 행동 조합 집합 𝒜에 대해 공유 인덱스 I_𝒜에 해당하는 잠재 부분 z_𝒜와 c_𝒜 사이에 일대일 대응 g_𝒜가 존재함을 증명한다. 즉, 행동에 따라 겹치는 잠재 차원은 다른 행동에 독립적으로 영향을 받지 않으며, 이러한 차원들은 자동으로 “분리(disentangled)”된다. 행동이 특정 자유도만을 관여하면, 해당 자유도에 대응하는 잠재 뉴런은 모든 행동에서 동일한 값을 유지하고, 나머지 뉴런은 해당 행동에 대해 무작위화(σ²→∞)된다.

이를 구현하기 위해 저자들은 변분형 오토인코더(VAE)를 확장한 VAIR 모델을 설계한다. VAIR은 (i) 관측 전용 인코더 E_X가 평균 μ만을 출력하고, (ii) 행동 전용 인코더 E_A가 행동에 따라 각 잠재 차원의 분산 σ²를 결정한다는 두-인코더 구조를 갖는다. 행동에 따라 σ²가 크게 설정된 차원은 샘플링 단계에서 사실상 노이즈가 섞여 무시되며, 이는 기존 VAE에서 관찰된 “활성(active)·수동(passive)·혼합(mixed)” 현상을 행동 차원에 매핑한 형태다. ELBO 최적화는 기존과 동일하지만, β‑조절을 통해 KL 다이버전스와 재구성 손실 사이의 균형을 맞춘다.

실험에서는 (1) 인위적인 2‑D 요인 데이터셋에서 기존 β‑VAE, FactorVAE, β‑TCVAE 등과 비교해 잠재 차원의 정합도와 행동‑요인 매핑 정확도가 크게 향상됨을 보였으며, (2) 고전 입자(질량 m, 전하 q)의 궤적을 관측하고 중력·전기 힘 측정을 행동으로 사용했을 때, VAIR은 m과 q를 정확히 분리된 잠재 변수로 복원했다. (3) 양자 시스템의 토모그래피 데이터에서는 서로 다른 측정 설정을 행동으로 두고, VAIR이 각 양자 상태의 고유 파라미터(예: 위상, 진폭)를 독립적인 잠재 차원으로 학습함을 확인했다. 모든 경우에서 VAIR은 “행동에 의해 유도된 최소 AIR”를 학습함으로써, 기존 VAE 변형들이 겪는 비선형 ICA의 불가능성을 실질적으로 회피한다는 점이 강조된다.

결론적으로, 행동 정보를 명시적으로 모델에 통합하고, 잠재 차원의 활성화/비활성화를 행동에 따라 제어함으로써, 물리 실험 데이터에서 해석 가능하고 이론적으로 보장된 차원 분리를 달성한다는 새로운 패러다임을 제시한다.