시간에 강인한 대규모 언어 모델을 위한 매니폴드 인식 템포럴 로라

초록

본 논문은 대규모 언어 모델(LLM)의 시간에 따른 데이터 분포 변화에 대응하기 위해, 파라미터 효율적 미세조정 기법인 LoRA 공간에서 저차원 매니폴드 구조를 가정하고 이를 활용한 MaT‑LoRA 프레임워크를 제안한다. 매니폴드‑제한 저랭크 팩터화를 통해 시간별 어댑터를 공유된 기저와 동적 코어로 분해함으로써, 모델 크기에 비례하지 않는 일정한 연산·메모리 비용으로 시간 도메인 일반화를 실현한다. 합성 및 실제 뉴스·과학·리뷰 데이터셋 실험에서 기존 TDG 방법보다 우수한 미래 도메인 성능을 보이며, 억대 파라미터 모델에서도 실용적인 확장성을 확인한다.

상세 분석

본 연구는 두 가지 핵심 가정을 바탕으로 한다. 첫째, 전체 파라미터 공간에서 최적화된 모델 가중치들의 시간 궤적은 저차원 매니폴드에 내재한다는 기존 TDG 연구의 발견을 그대로 받아들인다. 둘째, 대규모 사전학습 모델을 파라미터‑효율적 미세조정(PEFT) 방식인 LoRA로 업데이트할 경우, 업데이트 자체가 저랭크 행렬 B·A 형태로 제한되므로, 이 저랭크 공간에서도 동일한 매니폴드 구조가 보존된다고 증명한다(정리 1·2). 이러한 수학적 기반 위에 저자들은 ‘매니폴드‑제한 팩터화’를 도입한다. 구체적으로, 모든 시간 단계 t에 대해 LoRA 업데이트 ΔWₜ = BₜAₜ를 전역적인 열 기저 B와 행 기저 A로 재표현하고, 각 Bₜ와 Aₜ를 고정된 기저에 대한 선형 결합 행렬 Cₜ, Dₜ로 분해한다. 결과적으로 ΔWₜ = B·(CₜDₜ)·A 형태가 되며, 여기서 B와 A는 시간에 불변하는 매니폴드의 좌표축을 정의하고, 핵심 행렬 Fₜ = CₜDₜ만이 시간에 따라 변한다. 이 구조는 (i) 파라미터 수에 비례하지 않는 상수 메모리 사용, (ii) 저차원 코어 Fₜ만을 모델링함으로써 학습·추론 비용 절감, (iii) 동일 매니폴드 내에서의 연속적인 궤적을 보장해 미래 도메인에 대한 외삽이 수학적으로 타당함을 제공한다.

코어 Fₜ의 파라미터화는 세 가지 방식으로 제시된다. 첫 번째는 연속 선형 동역학 시스템으로, 행렬 지수(exp(tW))를 이용해 Fₜ를 시간에 대한 연속적인 흐름으로 모델링한다. 이는 데이터 분포가 부드러운 연속 흐름을 따를 때 강력한 편향을 제공한다. 두 번째는 비선형 연속 동역학(예: 뉴럴 ODE)으로, 미분 방정식 기반의 신경망을 통해 복잡한 비선형 변화를 포착한다. 세 번째는 임의 함수 근사(예: 시계열 트랜스포머)로, 시간에 대한 자유로운 함수 형태를 학습한다. 이러한 선택지는 데이터의 시간적 특성에 따라 유연하게 적용 가능하도록 설계되었다.

실험에서는 (1) 합성 데이터에서 저차원 매니폴드가 명시적으로 정의된 상황, (2) 뉴스 기사 시계열, (3) 과학 논문 발표 연도별 데이터, (4) 제품 리뷰 평점 변동 등 네 가지 실제 시나리오를 사용했다. 모든 실험에서 MaT‑LoRA는 기존 전체 파라미터 기반 TDG(LSTM, 연속시간 신경망)와 비교해 평균 3~7%의 정확도 향상을 보였으며, 특히 1B 파라미터 규모 모델에서 연산량이 10⁻¹⁰ 수준으로 감소하는 등 확장성 측면에서 획기적인 이점을 입증했다. 또한, 매니폴드 가정이 깨지는 경우(예: 급격한 분포 전환)에도 코어 Fₜ의 비선형 모델링을 통해 일정 수준의 복원력을 유지한다는 추가 분석을 제공한다.

이 논문의 주요 기여는 (a) 파라미터‑증분 공간에서도 매니폴드 구조가 보존된다는 이론적 증명, (b) 공유 기저와 동적 코어로 구성된 매니폴드‑제한 팩터화 설계, (c) 다양한 동역학 모델을 통한 코어 파라미터화 전략, (d) 대규모 LLM에 대한 실용적 TDG 구현 및 광범위한 실험 검증이다. 이러한 접근은 앞으로 LLM을 실시간 서비스에 적용할 때, 지속적인 데이터 흐름에 대한 적응성을 유지하면서도 비용 효율성을 확보하는 데 중요한 방향성을 제시한다.