ECHO 테스트 시 강화학습을 위한 엔트로피와 신뢰도 하이브리드 최적화

초록

**
ECHO는 테스트 시 강화학습에서 발생하는 고엔트로피에 의한 롤아웃 붕괴와 초기 의사라벨의 편향을 동시에 완화하기 위해, 토큰 수준의 엔트로피와 그룹 수준의 신뢰도를 결합한 동적 브랜칭 전략과 신뢰도 기반 온라인 프루닝을 도입한다. 또한 정책 업데이트 시 신뢰도 적응형 클리핑과 엔트로피‑신뢰도 혼합 어드밴티지 셰이핑을 적용해 학습 안정성을 높이고 탐색을 유지한다. 실험 결과, 수학·시각 추론 벤치마크 전반에 걸쳐 기존 트리 기반 롤아웃 방법보다 높은 정확도와 예산 효율성을 달성한다.

**

상세 분석

**
ECHO 논문은 테스트‑타임 강화학습(TTRL)에서 두 가지 근본적인 문제, 즉 “고엔트로피 브랜칭에 의한 롤아웃 붕괴”와 “초기 의사라벨의 노이즈·편향”을 정량적으로 분석하고, 이를 해결하기 위한 새로운 프레임워크를 제시한다. 첫 번째 문제는 기존 방법이 엔트로피가 높은 토큰을 브랜칭 기준으로 삼을 때, 연속적인 고엔트로피 구간이 반복되면 예산이 소수의 경로에 집중돼 실질적인 브랜치 수가 급감하는 현상이다. 저자들은 이를 “high‑entropy collapse”라 명명하고, 고엔트로피 구간의 연속성을 측정하는 ‘high‑entropy continuity’와 브랜치 예산 분배를 분석해 문제의 심각성을 실험적으로 입증한다.

두 번째 문제는 초기 단계에서 다수결을 통한 의사라벨이 노이즈가 많고 편향될 가능성이 크다는 점이다. 이러한 라벨은 정책을 과도하게 강화시켜 분포가 급격히 샤프해지고 탐색이 사라지는 ‘self‑reinforcing overfitting’을 초래한다.

ECHO는 이러한 두 문제를 동시에 다루기 위해 (1) 엔트로피‑신뢰도 하이브리드 브랜칭과 (2) 신뢰도 기반 온라인 프루닝을 설계한다. 브랜칭 폭 Bₜ는 현재 토큰 엔트로피 Hₜ와 그룹 수준 평균 신뢰도 C_Gₜ를 가중합한 뒤, 사전 워밍업 단계에서 추정된 엔트로피 하한·상한을 정규화해 동적으로 결정한다. 고엔트로피·저신뢰도 영역에서는 Bₜ를 확대해 탐색을 촉진하고, 고엔트로피·고신뢰도 영역에서는 Bₜ를 축소해 불필요한 확장과 예산 낭비를 방지한다.

프루닝 메커니즘은 (i) 저신뢰도 프루닝 – 그룹 신뢰도의 최소값이 사전 정의된 τ_prune 이하일 때 즉시 종료, (ii) 테일 감소 프루닝 – 연속적인 신뢰도 감소가 일정 횟수 S_tail를 초과하고 현재 테일 신뢰도가 τ_tail 이하일 때 종료, (iii) 엔트로피 스파이크 프루닝 – 엔트로피 증가량 ΔH_t가 δ_upper를 초과하는 연속 구간 S_Δ가 감지될 때 종료, 로 구성된다. 이 세 가지 기준은 서로 보완적으로 작동해 고엔트로피 트랩에 빠진 경로를 조기에 차단하고, 예산을 유망한 경로에 재분배한다.

정책 업데이트 단계에서는 신뢰도 적응형 클리핑을 도입한다. 각 토큰의 중요도 비율 r_i,t을 기존 PPO 클리핑 구간