스위트스팟 학습: 차별화된 보상으로 에이전트 최적화 혁신

초록

SSL(Sweet Spot Learning)은 에이전트 학습에 이진 보상의 한계를 극복하고, 해결책의 품질을 단계별로 구분해 점진적으로 강화하는 새로운 보상 프레임워크이다. 거리‑계층화와 진행‑계층화를 통해 GUI 인식, 장·단기 계획, 복합 추론 등 12개 벤치마크에서 기존 방법 대비 최대 2.5배의 샘플 효율성을 달성했으며, 이론적으로 최적 해의 순서를 보존하고 그래디언트 신호대잡음비를 향상시킨다.

상세 분석

SSL은 “스위트스팟”이라는 테니스 비유를 차용해, 행동이 목표에 가까워질수록 보상을 점진적으로 높이는 계층형 보상 체계를 제안한다. 핵심 아이디어는 (1) 솔루션 공간을 품질‑순서가 보장된 여러 구역(Z₁…Z_K)으로 분할하고, (2) 각 단계에서 상태‑행동 쌍에 대한 근접도 h(s,a)∈