긴문맥 압축을 위한 그룹 병합·계층 의미 정렬 GMSA

초록

GMSA는 인코더‑디코더 기반의 소프트 프롬프트 압축 프레임워크로, 입력 토큰을 동등한 크기의 그룹으로 평균 풀링하는 그룹 병합과, 고수준 요약 벡터를 저수준 의미 공간으로 투사하는 계층 의미 정렬(LSA) 모듈을 도입한다. 자동인코더 사전학습 후 다운스트림 QA·요약 작업에 파인튜닝함으로써 기존 소프트 프롬프트 압축 방식보다 컨텍스트 재구성 품질과 최종 성능이 크게 향상되며, 긴 입력에서도 낮은 지연 시간을 유지한다.

상세 분석

본 논문은 장문 컨텍스트 처리 시 발생하는 계산 비용의 2차 복잡도와 정보 중복이라는 두 가지 근본적인 문제를 해결하고자 한다. 기존 소프트 프롬프트 압축 기법은 랜덤 초기화된 토큰을 추가하고, 이를 자동인코더(pre‑training) 과정에서 단계별로 요약 벡터로 학습한다. 그러나 이 접근법은 **앵커 토큰(예: “The”)**에 의미가 편중되는 Semantic Dominance 현상을 보이며, 결과적으로 요약 벡터가 원문 전체 의미를 고르게 반영하지 못한다. 또한, 고수준 요약 벡터를 그대로 디코더에 투입함으로써 **계층 간 의미 격차(Layer Semantic Gap)**가 발생한다.

GMSA는 이러한 한계를 두 가지 핵심 메커니즘으로 극복한다.

1. Group Merging: 입력 토큰을 압축 비율에 맞춰 동일 크기의 그룹으로 나눈 뒤, 각 그룹의 차원을 평균(pooling)한다. 평균화는 특정 토큰에 대한 가중치를 평탄화하여, 모든 토큰이 고르게 기여하도록 만든다. 이는 자동인코더 사전학습 단계에서 의미 지배 현상을 크게 완화한다.
2. Layer Semantic Alignment (LSA): 요약 벡터를 저수준 디코더 레이어와 동일한 표현 공간으로 매핑하기 위해, 디코더 초기 k 레이어(논문에서는 k=1) 가중치를 그대로 복제한 작은 Transformer 블록을 삽입한다. 이 블록은 고수준 추상 의미를 저수준 입력 의미와 정렬시켜, “요약 → 디코더 입력” 과정에서 발생하는 의미 격차를 메운다.

학습 절차는 두 단계로 구성된다. 첫 번째 단계는 자동인코더 사전학습으로, Encoder(LoRA‑튜닝된 LLM)와 LSA만 학습해 원문을 재구성한다. 재구성 손실을 최소화함으로써 압축된 소프트 토큰이 원문 의미를 최대한 보존하도록 만든다. 두 번째 단계는 다운스트림 파인튜닝으로, 디코더만을 학습시켜 질문‑응답 혹은 요약과 같은 실제 작업에 압축 토큰을 활용한다.

실험에서는 Qwen‑3‑4B와 LLaMA‑3.2‑3B 두 백본 모델을 사용해 4배·8배 압축 비율을 테스트하였다. PwC 데이터셋을 통한 컨텍스트 재구성에서는 BLEU, ROUGE, BERTScore 등에서 기존 ICAE‑AE, 500xCompressor 등과 비교해 25%p 상승을 기록했다. QA(NaturalQuestions, HotpotQA, 2WikiMQA)와 요약(MultiNews) 벤치마크에서도 EM/F1 점수가 평균 36%p 개선되었으며, 특히 긴 입력(32K 토큰)에서도 엔드‑투‑엔드 지연이 15~20% 감소하는 효율성을 보였다.

또한 Ablation Study를 통해 (i) Group Merging 없이 평균 풀링만 적용했을 때 의미 손실이 급격히 증가하고, (ii) LSA 레이어를 제거했을 때 고수준 요약 벡터와 디코더 입력 사이의 의미 격차가 재현되어 성능이 크게 저하되는 것을 확인했다. LSA는 단일 레이어만으로도 충분히 효과적이며, 이는 모델 파라미터와 연산량을 최소화하는 설계상의 장점으로 작용한다.

한계점으로는 (1) 그룹 크기가 고정되어 있어 입력 길이에 따라 최적의 그룹 수를 자동 조정하는 메커니즘이 부재하고, (2) 현재는 평균 풀링만 사용했으나, 어텐션 기반 가중 평균이나 학습 가능한 병합 방식이 더 나은 압축 품질을 제공할 가능성이 있다. 또한, 실험이 12K~32K 토큰 범위에 국한돼 있어 수십만 토큰 수준의 초장문에 대한 확장성 검증이 필요하다.

종합하면, GMSA는 균등한 토큰 집합화와 계층 의미 정렬이라는 두 가지 새로운 설계 원칙을 통해, 기존 소프트 프롬프트 압축 방식이 갖던 의미 편중과 계층 격차 문제를 효과적으로 해결한다. 이는 장문 입력을 다루는 LLM 기반 시스템에서 연산 효율성과 의미 보존성을 동시에 달성할 수 있는 실용적인 솔루션으로 평가된다.