경로 인식 역엔트로피 스티어링

초록

마스크드 디퓨전 모델의 샘플링에서 초기 토큰 선택이 전체 문맥에 미치는 영향을 고려하지 못해 발생하는 ‘경로 락인’ 문제를 해결한다. 저자들은 역엔트로피(Backward‑on‑Entropy) 스티어링을 제안하고, 단일 역전파를 통해 미래 엔트로피 감소량을 근사하는 토큰 중요도 점수(TIS)를 계산한다. 또한 ActiveQueryAttention이라는 희소 역전파 기법으로 계산 비용을 크게 낮추어, 기존 탐색 기반 방법과 비교해 효율성과 정확도 모두에서 우수한 성능을 보인다.

상세 분석

본 논문은 마스크드 디퓨전 모델(MDM)의 비자율적 샘플링 과정에서 발생하는 ‘trajectory lock‑in’ 현상을 이론적으로 규정하고, 이를 제어 문제로 전환한다. 저자들은 전체 마스크드 토큰 집합의 엔트로피 Hₜ(xₜ)를 목표 함수로 삼아, 현재 단계에서 선택한 토큰 집합 Uₜ가 미래 엔트로피 Hₜ₋₁에 미치는 영향을 최소화하는 최적 제어 신호를 찾는다. 이를 위해 연속적인 완화(relaxation)를 도입해 마스크 토큰의 임베딩 eₘ와 소프트 쓰기 임베딩 ẽᵢₜ 사이의 차이 Δeᵢₜ를 정의하고, α∈