다양성과 안정성 균형을 밝히는 D 모델과 E 모델

초록

본 논문은 대형 언어 모델(LLM)의 토큰 수준 확률 P_token이 과제 목표 분포 P_task과 얼마나 일치하는지를 조사한다. 실험을 통해 토큰 확률이 크게 변동하는 D‑모델(예: Qwen‑2.5)과 안정적으로 P_task에 근접하는 E‑모델(예: Mistral‑Small)을 구분하고, 코드 생성·추천 등 실제 작업에서 두 모델이 보이는 다양성‑안정성 트레이드오프를 분석한다.

상세 분석

이 연구는 LLM의 샘플링 메커니즘을 확률론적 관점에서 재정의하고, P_task 이라는 과제‑수준 목표 분포와 토큰‑수준 출력 확률 P_token 사이의 정량적 정합성을 측정한다. 저자들은 e‑score (각 토큰 단계에서 최대 확률값의 평균)와 ATVD (총 변이 거리)라는 두 가지 메트릭을 도입해 모델의 ‘극단성’과 ‘분산 정도’를 정량화한다. 실험 결과, D‑모델은 e‑score가 높아 토큰 확률이 한 토큰에 집중되는 경향을 보이며, 이는 P_task 과의 차이를 크게 만든다. 반면 E‑모델은 e‑score가 낮아 토큰 확률이 P_task 에 비례적으로 분포하고, ATVD‑step이 작아 단계별 정합성이 우수하다.

시뮬레이션에서는 두 종류의 인위적 분포(극단 분포와 평탄 분포)를 제시하고, 각 모델이 100 개의 샘플을 생성하도록 했다. 극단 분포에서는 모든 모델이 P_result 과 P_task  사이에 약 0.10 정도의 평균 차이를 보였으며, 이는 LLM이 높은 확률을 가진 토큰을 과도하게 편향한다는 점을 시사한다. 평탄 분포에서는 ATVD 값이 전반적으로 낮아 모델이 보다 정확히 목표 분포를 재현한다는 점이 확인되었다.

다운스트림 작업 평가에서는 코드 생성과 추천 시스템을 대상으로 두 모델을 비교했다. 코드 생성에서는 E‑모델이 일관된 정답률을 유지하면서도 다양성을 일정 수준 보존했으며, D‑모델은 높은 변동성으로 인해 일부 경우 과도한 창의성을 보여 정답률이 낮아졌다. 추천 시나리오에서는 D‑모델이 다양성(다양한 아이템 노출) 측면에서 유리했지만, E‑모델이 사용자 선호와 일치하는 정확한 아이템을 제공하는 데 강점을 보였다.

내부 메커니즘 분석에서는 레이어별 온도(temperature)와 어텐션 가중치 분포를 조사했다. D‑모델은 상위 레이어에서 급격한 온도 상승과 어텐션 스코어의 비대칭성을 보였으며, 이는 특정 토큰에 대한 확신을 급격히 높이는 원인으로 작용한다. 반면 E‑모델은 전 레이어에 걸쳐 온도가 비교적 일정하고, 어텐션 가중치가 고르게 분포해 토큰 선택이 보다 확률적이며 안정적이다. 이러한 차이는 모델 학습 시 사용된 정규화 기법과 손실 함수 설계 차이에서 비롯된 것으로 추정된다.

결론적으로, 논문은 LLM이 P_task 을 완벽히 재현하기는 어렵지만, 모델 선택과 하이퍼파라미터 튜닝을 통해 다양성(다양한 답변·아이템)과 안정성(정확도·일관성) 사이의 트레이드오프를 조절할 수 있음을 보여준다. 실무에서는 서비스 목표에 따라 D‑모델을 활용해 탐색적·창의적 작업을, E‑모델을 활용해 정확도와 일관성이 중요한 작업을 수행하는 것이 바람직하다.