희소 전이 연산자를 활용한 잠재 추론 프레임워크 LSTR

초록

본 논문은 기존의 밀집(latent) 추론이 해석성과 제어성을 잃는 문제를 해결하고자, 희소 전이(transcoder) 모델을 활성 추론 연산자로 전환한 LSTR(Latent Sparse Transcoder Reasoning) 프레임워크를 제안한다. LSTR은 선형 스킵 경로와 Top‑k 희소 경로를 결합한 Latent Transition Transcoder(LTT)를 통해 연산을 두 단계로 분리하고, 희소성 예산 k 를 조절함으로써 의미론적 해상도를 직접 제어한다. 실험 결과, LSTR은 기존 밀집 기반 잠재 추론 모델과 동등하거나 더 높은 정확도를 유지하면서, 추론 단계 수를 크게 줄이고, 각 단계에서 활성화되는 의미론적 특징을 인간이 해석 가능하도록 만든다.

상세 분석

LSTR의 핵심 아이디어는 “희소 전이(transcoder)를 사후 분석 도구가 아니라, 실제 추론 과정의 활성 연산자로 활용한다”는 점이다. 이를 위해 저자들은 두 개의 병렬 경로를 갖는 LTT(Latent Transition Transcoder)를 설계하였다. 첫 번째는 W_skip 이라는 선형 어댑터로, 입력 백본 히든 상태 h_t 를 그대로 전달하면서 잠재 매니폴드의 연속성을 보존한다. 이 경로는 초기화가 0이며 bias가 없고, 학습 초기에 거의 변화를 주지 않음으로써 “배경 흐름”을 담당한다. 두 번째는 W_enc → Top‑k → W_dec 구조의 비선형 희소 경로이다. 여기서 W_enc 은 h_t 에서 평균 μ 를 빼고 정규화한 뒤 고차원 사전( d_feat = α·d )으로 투사하고, ReLU 활성화 후 Top‑k 연산을 적용해 k 개의 가장 큰 활성값만 남긴다. 이렇게 선택된 k 개의 희소 벡터는 W_dec 에 의해 재구성되며, 최종적으로 ẑ_{t+1}=W_skip h_t + W_dec s_t + b_dec 으로 합산된다.

희소성 제약은 단순한 정규화가 아니라 구조적 설계 원칙이다. Top‑k 연산은 “의미론적 해상도 제어(Semantic Resolution Control)”를 가능하게 하며, k 값을 조절함으로써 한 단계에 활성화되는 의미 단위의 수를 직접 조절한다. 이는 추론의 세분화 정도를 사용자가 선택할 수 있게 해, 복잡한 연산을 적은 단계로 압축하거나, 반대로 세밀한 단계별 해석을 원할 때 k 를 늘리는 식으로 유연하게 대응한다.

학습 목표는 두 가지 손실을 결합한다. 첫 번째는 FVU(Fraction of Variance Unexplained) 손실로, 예측된 잠재 상태와 압축된 목표 z* 간의 차이를 목표 분산으로 정규화해 스케일에 무관한 오류를 최소화한다. 두 번째는 L_skip 손실로, 선형 스킵 경로가 배경 흐름을 정확히 모사하도록 강제한다. 이때 Top‑k 경로가 의미론적 업데이트를 담당하도록 “누수(leakage)”를 방지한다. 또한, “Ghost Gradient” 메커니즘을 도입해 희소 사전의 활용률을 높인다. 이는 재구성 잔차 r_t 를 역전파하여 활성화되지 않은 인코더 유닛에도 신호를 전달함으로써, 초기화 단계에서 죽은 유닛(dead units)이 발생하는 것을 완화한다.

실험에서는 GSM8K‑Aug, GSM‑Hard, SVAMP, MultiArith 등 네 개의 수학적 추론 벤치마크와 MA‑TH 데이터셋을 사용했다. LSTR‑5(압축 비율 r=5, k=5)와 LSTR‑2(압축 비율 r=2, k=2) 두 설정을 비교했으며, 기존 밀집 기반 모델인 CoLaR‑5, CoLaR‑2와 정확도와 평균 추론 길이(#L)에서 경쟁하거나 우수한 결과를 보였다. 특히 LSTR‑2는 CoLaR‑2와 동일한 압축 비율에서 k 값을 조절함으로써 추론 단계 수를 10% 이상 감소시키면서도 정확도 손실이 거의 없었다.

해석 측면에서는 Top‑k 활성화가 “덧셈”, “뺄셈”, “조건부 비교” 등 구체적인 연산 프리미티브와 강하게 연관됨을 확인했다. 저자들은 인위적인 개입(causal intervention) 실험을 통해 특정 k 활성화를 강제로 삽입하거나 차단했을 때, 모델의 출력이 예상대로 변하는지를 검증했으며, 이는 희소 특징이 실제 연산에 인과적 역할을 한다는 강력한 증거가 된다. 또한, 잠재 궤적 분석을 통해 LTT의 선형 스킵 경로가 전체 궤적을 부드럽게 이어주는 반면, 희소 경로가 급격한 의미 변화를 담당한다는 구조적 분리를 시각적으로 확인했다.

요약하면, LSTR은 “희소 전이 = 의미론적 연산”이라는 새로운 패러다임을 제시한다. 밀집 잠재 공간의 불투명성을 희소, 인간 해석 가능한 특징으로 대체하면서도, 압축 효율성과 추론 정확도는 유지한다. 이는 앞으로 대규모 언어 모델을 실시간·제어 가능한 시스템에 적용할 때, 해석 가능성과 비용 효율성을 동시에 만족시킬 수 있는 중요한 전진점으로 평가된다.