온도 스케일링의 이론적 고찰: 분류와 언어 모델에서의 특성

초록

온도 스케일링은 모델의 확률 출력을 조정해 불확실성을 제어하는 간단한 기법이다. 본 논문은 분류기와 대형 언어 모델(LLM) 두 영역에서 온도 파라미터가 미치는 영향을 이론적으로 분석한다. 분류에서는 온도가 증가할수록 엔트로피가 증가함을 보였으며, LLM에서는 온도 상승이 반드시 다양성을 높이지 않는다는 반증을 제시한다. 또한 온도 스케일링을 “정보 투영”과 “선형 스케일러 중 하드 예측을 보존하는 유일한 형태”라는 두 새로운 관점으로 재해석한다.

상세 분석

본 논문은 온도 스케일링(temperature scaling)을 확률 모델의 불확실성 조절 메커니즘으로 바라보고, 이를 두 가지 주요 응용 분야—분류기의 캘리브레이션과 대형 언어 모델(LLM)의 샘플링 다양성—에 대해 정량적·정성적으로 분석한다. 첫 번째 이론적 결과는 온도 파라미터 τ>0에 대해 원본 로짓 벡터 z에 대해 소프트맥스(σ(z/τ))를 적용하면, τ가 커질수록 출력 확률 분포의 엔트로피 H가 단조 증가한다는 것이다. 이는 KL 발산을 이용한 정보 투영 관점에서 증명되는데, 온도가 높은 모델은 주어진 엔트로피 수준을 만족하는 확률 분포 집합에 대한 ‘I-투영(I‑projection)’으로 해석된다. 즉, 온도 스케일링은 원본 모델을 동일한 엔트로피를 갖는 모델 집합으로 가장 가까운(정보적으로) 사상한다는 의미다.

두 번째로, LLM에 대한 일반적인 믿음은 “온도를 높이면 텍스트 생성이 더 다양해진다”는 것이지만, 저자는 토큰 수준에서의 확률 분포 변화를 분석해 이 주장을 반증한다. 온도 상승은 전체 확률 질량을 고르게 퍼뜨리지만, 실제 토큰 선택은 여전히 높은 확률을 가진 소수 토큰에 집중될 수 있다. 특히, 토큰 빈도 분포가 멱법칙(power‑law) 형태를 보이는 경우, 온도 증가가 엔트로피를 크게 올리더라도 ‘다양성’이라고 부를 수 있는 토큰 종류 수는 미미하게 변한다. 이는 ‘다양성’과 ‘불확실성’이 동일하지 않다는 중요한 교훈을 제공한다.

마지막으로, 저자는 온도 스케일링을 보다 일반적인 선형 스케일링 프레임워크(예: 행렬 스케일링, 디리클레 캘리브레이션) 안에 위치시킨다. 이 프레임워크에서는 각 클래스에 대해 별도의 스케일링 파라미터와 오프셋을 적용할 수 있지만, 온도 스케일링은 모든 클래스에 동일한 스칼라 τ를 곱하는 특수한 경우이다. 저자는 “하드 예측(가장 높은 확률을 갖는 클래스) 변화를 일으키지 않는 유일한 선형 스케일러”라는 정리를 증명한다. 즉, 온도 스케일링은 모델의 결정 경계를 그대로 유지하면서 확률 분포만을 부드럽게 조정한다는 점에서 다른 복잡한 캘리브레이션 기법과 차별화된다. 이러한 특성은 특히 실시간 시스템이나 리소스가 제한된 환경에서 온도 스케일링이 선호되는 이유를 이론적으로 뒷받침한다.

요약하면, 논문은 (1) 온도 파라미터가 엔트로피를 단조 증가시킨다는 일반적 사실, (2) LLM에서 온도와 다양성 사이의 비직관적 관계, (3) 온도 스케일링을 정보 투영 및 하드 예측 보존이라는 두 새로운 관점으로 재해석함으로써 기존 실무적 사용을 이론적으로 정당화한다는 점에서 의미가 크다.