디코딩 기하학: 복합 추론을 위한 임베딩 공간 혼잡 완화

초록

본 논문은 대형 언어 모델(LLM)에서 토큰 샘플링 시 발생하는 ‘임베딩 공간 혼잡(embedding‑space crowding)’ 현상을 규명하고, 이를 완화하는 플러그인 방식 디코딩 기법 CraEG를 제안한다. 임베딩 공간에서 서로 가깝게 위치한 토큰들에 확률 질량이 과도하게 집중될수록 수학적 추론 성공률이 낮아짐을 실험적으로 입증했으며, CraEG는 토큰 간 기하학적 관계를 고려해 확률을 재가중함으로써 정확도와 다양성을 동시에 향상시킨다.

상세 분석

본 연구는 기존의 온도 조절·top‑p·top‑k 등 전역적인 확률 재조정 방식이 토큰 간 미세한 임베딩 관계를 무시한다는 점에 주목한다. 저자들은 ‘임베딩 공간 혼잡’이라는 현상을 정의하고, 토큰‑레벨 혼잡 점수(Crowd_token)와 단계‑레벨 혼잡 점수(Crowd_step), 그리고 전체 시퀀스에 대한 평균 혼잡 점수(Crowd_seq)를 수식으로 제시한다. 토큰‑레벨 점수는 특정 토큰 i에 대해, i와 코사인 유사도가 높은 다른 토큰들의 확률 가중합을 의미한다. 단계‑레벨 점수는 현재 단계의 확률 분포에 대한 기대값이며, 시퀀스‑레벨 점수는 모든 단계에 걸친 평균이다.

실험에서는 AIME25 수학 문제집을 사용해 Qwen3‑0.6B 모델의 960개 추론 트레이스를 분석하였다. 상위 100개 토큰(K=100)만을 대상으로 혼잡 점수를 계산했으며, 시퀀스‑레벨 혼잡을 tertile(저·중·고)로 구분했을 때 정확도가 34.38 % → 13.12 % → 1.56 %로 급격히 감소함을 확인했다. 또한, 혼잡 점수와 정답 여부 사이의 점-이분 상관계수 r = −0.39(p ≈ 10⁻³⁶)으로 통계적으로 유의미한 음의 상관관계를 보였다. 엔트로피와 같은 전통적 불확실성 지표를 회귀에 포함시켜도 혼잡 점수는 여전히 유의미한 음의 예측변수였으며, 엔트로피는 의미 있는 영향을 주지 못했다.

이러한 결과를 바탕으로 제안된 CraEG는 (1) 확률이 ε 이상인 토큰 집합 S_t를 정의해 연산량을 제한하고, (2) 토큰‑레벨 혼잡 점수를 이용해 확률을 비선형적으로 감소시킨다. 구체적으로, p’_i = p_i · (1 − α·Crowd_token(i)) 형태의 재가중을 수행하며, α는 단계별로 적응적으로 조정된다. 이 과정은 추가적인 모델 파라미터 학습이나 외부 신호 없이 한 번의 전방패스만으로 적용 가능하다.

실험 결과 CraEG는 Qwen3‑1.7B, Qwen3‑4B, HunYuan‑1.8B 등 다양한 모델에 적용했을 때, 평균 @32 점수와 pass@8 정확도가 각각 0.52점, 1.98%p 상승했으며, distinct‑n 및 semantic diversity에서도 각각 1.17점, 0.62점의 개선을 보였다. 특히, 기존 top‑p + temperature 설정과 비교했을 때, 동일한 하이퍼파라미터(temperature = 1, top‑p = 1) 하에서도 혼잡 완화가 성능 향상에 크게 기여함을 확인했다.

이 논문은 토큰 확률 분포의 기하학적 구조가 추론 성능에 미치는 영향을 최초로 정량화하고, 이를 직접 제어하는 실용적인 디코딩 기법을 제공한다는 점에서 의미가 크다. 다만, 현재는 수학적 문제 해결이라는 제한된 도메인에서 검증했으며, 다른 유형의 생성(코드, 자연어 요약 등)에서의 일반화 여부는 추가 연구가 필요하다. 또한, 혼잡 점수 계산에 토큰 임베딩이 필요하므로, 임베딩이 고정되지 않은 상황(예: 파인튜닝 중)에서는 구현상의 제약이 있을 수 있다.