HE‑SNR: 고엔트로피 신호‑대‑잡음 비로 소프트웨어 엔지니어링 능력 예측

초록

**
본 논문은 SWE‑Bench에서 LLM의 중간 훈련 단계 성능을 직접 가이드할 수 있는 새로운 지표 HE‑SNR을 제안한다. 저자는 토큰‑단위 데이터 필터링과 “엔트로피 압축 가설”을 통해 고엔트로피 토큰의 불확실성을 구조화하고, 기존 퍼플렉시티(PPL)의 장기 컨텍스트 세금(Long‑Context Tax) 문제를 극복한다. 대규모 MoE 모델(32K·128K 컨텍스트) 실험에서 HE‑SNR이 SWE‑Bench Pass@1과 강한 선형 상관관계를 보이며, SFT 후 고엔트로피 토큰에서 발생하는 “정렬 세금(Alignment Tax)”도 설명한다.

**

상세 분석

**
이 논문은 소프트웨어 엔지니어링(Large‑Scale SWE) 작업을 평가하는 SWE‑Bench가 LLM의 실제 문제 해결 능력을 가장 잘 드러낸다고 가정한다. 기존에 중간 훈련 단계의 진행 상황을 판단하기 위해 흔히 사용되는 퍼플렉시티(PPL)와 Bits‑Per‑Character(BPC)는 두 가지 근본적인 한계가 있다. 첫째, 컨텍스트 길이가 32K에서 128K로 확장될 때 위치 임베딩의 주파수 스케일링이 모델의 확률 분포를 일시적으로 평탄화시켜 PPL이 급등하는 “Long‑Context Tax”가 발생한다. 이는 모델이 실제로는 올바른 후보 집합(Cₖ) 안에 정답을 유지하고 있음에도 불구하고, 손실 기반 지표가 이를 과소평가한다는 의미다. 둘째, PPL은 Top‑1 정확도와는 높은 상관관계를 보이지만, Top‑k(k>1)에서는 상관이 급격히 감소한다. SWE‑Bench와 같은 복합적인 에이전트 작업에서는 Top‑10 정도의 후보 집합 내에 정답이 존재하는 것이 충분히 중요한데, 기존 지표는 이를 포착하지 못한다.

논문은 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 500개의 성공적인 SWE‑Bench 트래젝터리를 토큰‑단위로 정교하게 필터링한다. 여기서는 ‘Thought’와 ‘Observation’ 같은 서술적 요소를 제외하고, 실제 실행 명령(Action)만을 추출한다. XML 태그, 마크다운, 주석 등을 정규식·AST 파싱으로 제거해 순수 기능 토큰만 남긴다. 이렇게 하면 약 12.5M 토큰만으로도 downstream 성능과 높은 상관관계를 확보할 수 있다. 둘째, “Entropy Compression Hypothesis”를 도입한다. 고엔트로피 토큰이 ln 2, ln 3, ln 4 등 특정 로그값에 집중하는 현상을 관찰하고, 특히 우수한 모델은 비‑Top‑2 토큰의 엔트로피가 ln 3 쪽으로 이동한다는 “Shift to ln 3” 현상을 발견한다. 이는 모델이 불확실성을 3개의 후보로 압축해 ‘reasonable hesitation’(합리적 머뭇거림) 상태를 만든다는 의미다.

이 가설을 기반으로 정의된 HE‑SNR(High‑Entropy Signal‑to‑Noise Ratio)은 다음과 같이 계산된다. 먼저 Top‑10 후보 집합에서 실제 정답이 포함되지 않은 토큰(M₁, M₂)을 추출하고, 이들의 엔트로피 평균을 신호(signal)로, Top‑10 전체 토큰의 평균 엔트로피을 잡음(noise)으로 삼는다. 최종 지표는 신호와 잡음의 비율이며, 값이 클수록 모델이 고엔트로피 상황에서도 의미 있는 후보를 유지한다는 뜻이다. HE‑SNR은 PPL이 급등하는 Long‑Context Tax 구간에서도 안정적인 추세를 보이며, 특히 128K 컨텍스트로 확장된 MoE‑L 모델에서 SWE‑Bench Pass@1과 거의 1:1 선형 관계를 나타낸다.

실험에서는 두 종류의 MoE 모델(MoE‑S, MoE‑L)을 사용해 32K와 128K 컨텍스트에서 여러 훈련 단계의 HE‑SNR과 SWE‑Bench 성능을 비교한다. 결과는 다음과 같다. (1) HE‑SNR은 모든 스케일에서 PPL보다 높은 Pearson 상관계수(>0.9)를 기록한다. (2) Long‑Context Tax가 발생해 PPL이 악화될 때도 HE‑SNR은 거의 변동이 없으며, 실제 SWE‑Bench 성능은 오히려 상승한다. (3) SFT 후에는 전반적인 PPL이 개선되지만, 고엔트로피 토큰에서 엔트로피가 상승해 HE‑SNR이 감소한다. 이는 SFT가 ‘정렬 세금(Alignment Tax)’을 유발해 모델이 복잡한 추론보다는 표면적인 패턴 매칭에 치우친다는 중요한 통찰을 제공한다.

이 논문은 엔트로피 기반 지표가 LLM의 잠재적 논리 능력을 더 정밀하게 포착한다는 점에서 기존 손실 기반 평가를 넘어서는 새로운 평가 패러다임을 제시한다. 또한, 데이터 필터링, 엔트로피 압축 이론, HE‑SNR 정의, 그리고 실증적 검증이라는 네 단계가 체계적으로 연결돼 중간 훈련 단계에서 실시간으로 모델을 조정할 수 있는 실용적인 도구를 제공한다. 향후 연구에서는 HE‑SNR을 다른 도메인(예: 수학, 과학)에도 적용하고, 자동화된 엔트로피‑기반 샘플링 전략을 결합해 훈련 효율을 더욱 높이는 방안을 탐색할 여지가 있다.

**