LLM을 길들이는 방법 연속 시스템에서의 의미 붕괴

초록

본 논문은 대형 언어 모델을 연속 상태 기계(CSM)로 형식화하고, 전이 연산자 P의 스펙트럼 특성을 분석한다. 정규성 가정 하에 P는 컴팩트하고 이산 스펙트럼을 가지며, 주요 고유함수가 의미적 베이스를 정의한다. 이러한 베이스는 o‑minimal 구조 내에서 논리적으로 제한된 형태를 띠어, 연속적인 활성화가 유한한 기호 의미 체계로 수축되는 메커니즘을 설명한다. 또한 시간‑비균질 및 확률적 상황에서도 동일한 구조가 유지됨을 증명한다.

상세 분석

논문은 먼저 대형 언어 모델(LLM)을 연속 상태 기계(CSM)라는 수학적 프레임워크에 매핑한다. 여기서 CSM은 매개변수 공간 M을 갖는 매끄러운 다양체이며, 모델의 토큰 전파는 확률적 전이 연산자 (P:L^{2}(M,\mu)\to L^{2}(M,\mu)) 로 기술된다. 저자들은 M이 콤팩트하고, 전이 커널이 에르고딕하며, 야코비안이 유계라는 ‘완만한’ 정규성 가정을 두어 P가 컴팩트 연산임을 보인다. 컴팩트 연산은 이산 스펙트럼을 가지므로, 고유값과 고유함수의 집합이 정렬 가능하다. 특히 가장 큰 고유값에 대응하는 고유함수들은 의미적 질량을 가장 오래 보존하는 ‘베이스’를 형성한다.

Semantic Characterization Theorem(SCT)은 이 고유함수들이 o‑minimal 구조—즉, 실수 위에서 정의 가능한 논리적으로 제한된 집합 체계—내에서 유한 개의 ‘스펙트럴 베이시스’를 정의한다는 점을 핵심으로 한다. 이는 연속적인 활성화 흐름이 결국 유한한 논리적 구역으로 붕괴(collapse)된다는 의미이며, ‘스펙트럴 램퍼빌리티(spectral lumpability)’와 ‘논리적 온전성(logical tameness)’이 동등함을 수학적으로 입증한다.

시간‑비균질(adiabatic) 상황에서는 전이 커널이 서서히 변한다는 가정 하에, 저자들은 커널의 스무스한 변이가 컴팩트성 및 스펙트럼 연속성을 보존함을 보인다. 따라서 모델이 학습 혹은 파인튜닝 과정에서 점진적으로 변하더라도 의미적 베이스는 급격히 변하지 않으며, 의미적 일관성이 유지된다.

이론적 결과는 LLM의 ‘논리적 해석 가능성’을 보장하는 새로운 시각을 제공한다. 기존의 블랙박스 해석 기법이 주로 통계적 상관관계에 의존한다면, 본 접근은 연속 동역학과 스펙트럼 이론을 결합해 의미가 어떻게 유한하고 해석 가능한 구조로 수축되는지를 설명한다. 이는 모델 압축, 파라미터 효율화, 그리고 안전성 검증 등에 실용적인 함의를 가진다.