꿈속 상태: 순환 대형 언어 모델을 위한 상태와 파라미터 확산

초록

본 논문은 RWKV 기반 순환 언어 모델의 내부 상태를 확산 모델로 학습·편집하는 DREAMSTATE 프레임워크를 제안하고, 전역 컨텍스트에 따라 동적으로 WKV 파라미터를 생성하는 하이브리드 구조를 설계한다. 상태의 구조적 의미를 t‑SNE와 제어 생성 실험으로 입증하고, 다중 목표 손실을 이용한 안정적인 학습을 보여준다.

상세 분석

DREAMSTATE 논문은 최근 주목받는 RWKV‑7 순환 모델의 두 가지 핵심 제한점을 과학적으로 분석한다. 첫 번째는 고정된 WKV 파라미터가 “구조적 노이즈”를 야기해 다양한 컨텍스트에 최적화되지 못한다는 점이다. 기존 Transformer‑계열이 “attention noise”를 완화하기 위해 동적 어텐션 가중치를 도입한 것과 유사하게, 저자들은 WKV 가중치를 컨텍스트‑조건부로 재생성함으로써 이 문제를 해결하고자 한다. 두 번째는 내부 상태 S 가 단순히 중간값이 아니라 고차원 의미 공간에 구조화된 표현이라는 가정이다. 이를 검증하기 위해 저자들은 대규모 텍스트 코퍼스에서 RWKV‑7 모델을 실행해 얻은 최종 상태 벡터를 수집하고, t‑SNE로 시각화했다. 결과는 “프로그래머”, “시인”, “리눅스 터미널” 등 서로 다른 페르소나가 명확히 구분되는 클러스터를 형성함을 보여, 상태가 의미론적 토픽을 내포하고 있음을 강력히 시사한다.

이러한 관찰을 바탕으로 두 단계의 확산 기반 학습을 설계한다. ① State Diffusion: 조건부 Diffusion Transformer(DiT)를 이용해 p(S|c) 를 모델링한다. 상태 텐서는 H 개의 헤드‑별 S^(h) 를 평탄화·연결해 하나의 시퀀스 패치로 변환하고, 표준 DDPM 손실(식 3)으로 노이즈 예측기를 학습한다. ② Parameter Diffusion: W, K, V 선형 매핑 행렬을 플래튼해 θ_gen 벡터로 만든 뒤, 동일한 DiT 구조를 사용해 p(θ_WKV|c) 를 학습한다. 여기서 c 는 가변 길이 입력 시퀀스 전체를 Transformer‑Encoder가 요약한 전역 컨텍스트 임베딩이다. 생성된 θ_gen 은 고정 파라미터 θ_static 과 선형 보간(α)으로 결합해 최종 θ_WKV‑final 을 만든다.

학습은 L_total = λ₁ L_LM + λ₂ L_param 이라는 다중 목표 손실로 진행된다. L_LM 은 다음 토큰 예측을 위한 교차 엔트로피이며, L_param 은 파라미터 확산의 DDPM 손실이다. 실험 결과, 두 손실 모두 안정적으로 감소하고, 파라미터 디퓨전이 모델의 perplexity를 약 3 % 개선함을 보고한다. 또한, 상태 디퓨전을 활용해 초기 S 를 직접 조작함으로써 “스토리텔러” 페르소나를 강제하거나, 두 상태를 인터폴레이션해 복합 주제 텍스트를 생성하는 등 제어 가능성을 입증한다.

기술적 기여는 크게 네 가지이다. (1) RWKV 상태를 확률적 변수로 정의하고, 조건부 디퓨전으로 학습·샘플링하는 DREAMSTATE 프레임워크 제시, (2) 전역 컨텍스트에 기반해 WKV 파라미터를 동적으로 생성하는 하이브리드 아키텍처 설계, (3) 파라미터와 상태 두 개념을 동시에 최적화하는 다중 목표 학습 방식 도입, (4) t‑SNE 시각화와 제어 생성 실험을 통해 상태의 구조적 의미와 파라미터 동적화의 효과를 실증. 이 연구는 순환 기반 대형 언어 모델이 고정된 내부 메커니즘에 얽매이지 않고, 확산 모델의 병렬·조건부 특성을 활용해 전역적인 적응성을 갖출 수 있음을 보여준다. 향후 연구는 더 큰 규모의 DiT와 복합적인 컨텍스트 인코더, 그리고 파라미터‑상태 공동 생성 모델을 탐색함으로써, 완전한 “생성‑제어” 루프를 구축하는 방향으로 나아갈 수 있다.