LLM의 잔여 흐름을 해독하는 엔트로피 렌즈

초록

본 논문은 로그잇‑렌즈를 통해 얻은 토큰 확률 분포의 엔트로피를 이용해, 각 레이어별 잔여 스트림의 토큰‑공간 동역학을 단일 스칼라 시계열인 “엔트로피 프로파일”로 압축한다. 엔트로피 변화량을 토큰 후보 집합의 확장·축소(프루닝) 전략의 지표로 해석하고, 모델 패밀리, 크기, 작업 유형, 출력 형식에 따라 서로 다른 전략 혼합 양상을 발견한다. 또한 다중 선택 실험을 통해 확장 단계가 성능에 더 큰 영향을 미침을 입증한다.

상세 분석

이 연구는 기존 해석 방법이 잔여 스트림의 고차원 임베딩을 시각화하거나 클러스터링하는 데 머물렀던 한계를 극복한다. 로그잇‑렌즈(logit‑lens)를 사용해 각 레이어의 잔여 스트림을 바로 토큰 확률 분포로 투사한 뒤, Shannon 엔트로피를 계산함으로써 “레이어당 하나의 스칼라”를 얻는다. 엔트로피는 (i) 차원 축소 효과—수천 차원의 확률 벡터를 1차원으로 압축, (ii) 토큰 순열에 무관한 불변성—어휘 순서가 바뀌어도 값이 동일하다는 두 가지 핵심 특성을 갖는다.

엔트로피 변화 ΔH_i = H_i – H_{i‑1} 를 후보 집합의 크기 변화와 상관관계 분석(Spearman)으로 검증했으며, 대부분의 모델에서 0.730.88의 높은 상관계수를 보였다. 이는 엔트로피 증가가 실제로 후보 토큰 수의 증가(확장)와, 감소가 후보 수의 감소(프루닝)와 일치함을 의미한다. 또한, 레이어 간 후보 토큰 집합의 교집합 비율을 조사해 60100% 수준의 높은 공유율을 확인했으며, 이는 후보 집합이 급격히 바뀌지 않고 점진적으로 조정된다는 가정을 뒷받침한다.

다양한 모델 패밀리(Llama‑3.2, Gemma‑2)와 규모(1B~9B)에서 엔트로피 프로파일을 비교한 결과, 각 패밀리는 고유한 “확장‑프루닝 패턴”을 보였다. 예를 들어 Llama‑3.2는 초기 레이어에서 급격한 엔트로피 상승 후 중간 레이어에서 완만한 감소를, Gemma‑2는 전반에 걸쳐 완만한 상승과 작은 폭의 감소를 나타냈다. 이러한 패턴은 모델 아키텍처와 사전‑학습 목표에 따라 달라지는 것으로 해석된다.

작업별 분석에서는 생성형(스토리, 시), 구문적(문법 검사), 의미적(질문‑답변) 과제마다 엔트로피 프로파일이 뚜렷이 구분되었다. 예를 들어 시적 생성은 초기 레이어에서 높은 엔트로피(다양한 후보) 후 중간에 급격한 프루닝을 보이며, 이는 창의적 후보 탐색 후 문맥에 맞는 토큰을 좁히는 과정과 일치한다. 반면 질문‑답변은 전반에 걸쳐 낮은 엔트로피를 유지해 보다 제한된 후보 집합을 지속적으로 활용한다.

성능 영향 평가에서는 다중 선택 테스트를 설계해, 특정 레이어의 엔트로피를 인위적으로 조작(예: 평균 엔트로피를 고정)했을 때 모델 정확도가 어떻게 변하는지 측정했다. 결과는 확장 단계(엔트로피 상승)가 프루닝 단계보다 성능에 더 큰 기여를 함을 보여준다. 이는 모델이 초기 단계에서 충분히 다양한 후보를 탐색해야 최종 정확도가 보장된다는 실용적 인사이트를 제공한다.

마지막으로 Rényi 엔트로피를 다양한 α값(0.5~2.0)으로 실험했으며, Shannon 엔트로피(α→1)와 거의 동일한 패턴을 유지함을 확인했다. 이는 제안된 방법이 특정 엔트로피 정의에 종속되지 않고, 보다 일반적인 정보 이론적 측정으로 확장 가능함을 의미한다.

전반적으로 이 논문은 “엔트로피 프로파일”이라는 새로운 저차원 시각화 도구를 제시함으로써, LLM 내부의 토큰‑공간 의사결정 과정을 직관적으로 파악하고, 모델 설계·디버깅·프롬프트 엔지니어링에 활용할 수 있는 실용적인 프레임워크를 제공한다.