긴 문맥 치료 대화에서 SSM과 트랜스포머 효율성 비교

초록

본 논문은 dyadic 치료 세션이라는 실제 긴 문맥 데이터를 활용해 최신 State Space Model인 Mamba와 LLaMA 기반 Transformer를 비교한다. 512‑8192 토큰 구간에서 메모리 사용량과 추론 속도를 측정해 계산 효율성을 평가하고, 은닉 상태의 스펙트럼 특성 및 주의 메커니즘을 분석해 표현 효율성을 검증한다. 결과는 토큰 길이가 2048을 초과할 때 SSM이 메모리와 시간 면에서 우위를 보이며, 특히 구조적 패턴이 반복적이고 장기 의존성이 강한 대화에서는 Mamba가 유사하거나 더 나은 표현 품질을 제공함을 보여준다.

상세 분석

본 연구는 두 가지 핵심 축을 중심으로 심층 분석을 전개한다. 첫째, 계산 효율성 측면에서 Mamba와 LLaMA를 512, 1024, 2048, 4096, 8192 토큰 길이의 dyadic 치료 세션에 적용하였다. 실험 환경은 동일한 GPU(A100 40GB)와 동일한 배치 크기(1)로 고정했으며, 메모리 피크와 토큰당 평균 처리 시간을 기록하였다. 결과는 2048 토큰 이하에서는 두 모델 간 차이가 미미했지만, 4096 토큰부터는 Mamba가 메모리 사용량을 평균 38 % 절감하고, 추론 속도는 토큰당 0.42 ms에서 0.31 ms로 26 % 가속을 달성했다. 8192 토큰에서는 Transformer가 메모리 초과 오류를 일으키는 반면, Mamba는 안정적으로 실행되었다. 둘째, 표현 효율성 분석에서는 은닉 상태의 스펙트럼 밀도와 주의 행렬의 구조적 특성을 비교하였다. Mamba의 상태 공간 행렬은 낮은 차원의 고유값 군집을 형성해 장기 의존성을 효율적으로 캡처하는 반면, Transformer의 주의 행렬은 토큰 간 상관관계가 희소해지는 경향을 보였다. 특히, 치료 대화에서 반복되는 질문‑응답 패턴이 나타날 때 Mamba는 해당 패턴을 고유 주파수 성분으로 압축해 재현했으며, 이는 인간 평가에서 의미 일관성 점수 0.84 대비 0.78(Transformer)로 우수함을 확인했다. 또한, Mamba의 상태 전이 과정은 시간에 따라 점진적으로 변하는 동적 시스템으로 해석될 수 있어, 모델 내부 해석 가능성 측면에서도 장점을 제공한다. 그러나 매우 복잡한 감정 전이나 급격한 주제 전환이 발생하는 구간에서는 Transformer의 다중 헤드 주의가 더 풍부한 상호작용 정보를 포착해 BLEU‑4 점수에서 약 1.2 % 우위를 보였다. 종합적으로, 토큰 길이가 2048을 초과하고, 입력 시퀀스가 구조적 반복성을 포함할 때 SSM이 계산·표현 효율성에서 유리하다는 결론에 도달한다.