텍스트 피드백을 활용한 강화학습: 단일턴 성능 향상을 위한 새로운 패러다임

초록

본 논문은 LLM 사후 학습에서 인간이 제공하는 텍스트 피드백을 활용해 단일턴 테스트 성능을 높이는 RLTF(RL from Text Feedback) 프레임워크를 제안한다. 두 가지 학습 방법인 자기 증류(RLTF‑SD)와 피드백 모델링(RLTF‑FM)을 설계하고, 이론적 정당성을 제공함과 동시에 추론 퍼즐, 경쟁 수학, 창의적 글쓰기 등 다양한 벤치마크에서 기존 베이스라인을 지속적으로 능가함을 실증한다.

상세 분석

본 연구는 기존 LLM 사후 학습에서 흔히 사용되는 “이진 보상” 혹은 “선호 라벨”이라는 극히 제한적인 신호와, 시연(demonstration) 기반의 고밀도 지도 사이에 존재하는 비용·스케일 격차를 텍스트 피드백이라는 중간 형태로 메우려는 시도이다. 텍스트 피드백은 인간·자동화된 평가자가 자연스럽게 제공하는 비정형 설명, 오류 지적, 개선 제안 등을 포함한다. 논문은 이러한 피드백을 학습 단계에서만 이용하고, 추론 단계에서는 피드백 없이도 높은 성능을 달성하도록 모델을 훈련시키는 “RLTF”라는 멀티턴 RL 설정을 정형화한다.

핵심 아이디어는 두 가지 방법으로 구분된다. 첫 번째인 자기 증류(RLTF‑SD)는 피드백을 받은 두 번째 턴의 출력을 “암묵적 교사”로 삼아, 첫 번째 턴 정책이 이를 모방하도록 하는 일종의 온‑폴리시(distillation)이다. 구체적으로, 초기 프롬프트 x₀에 대해 첫 번째 출력 y₀을 생성하고, 피드백 c₀을 받아 확장 프롬프트 x₁을 만든 뒤, 동일 정책으로 y₁을 재생성한다. 이후 y₁을 목표 분포로 삼아 π(·|x₀)를 업데이트한다. 이 과정에서 중요도 가중치와 클리핑을 통해 분산을 제어하고, 첫 번째 턴 기준 베이스라인을 사용해 “그라디언트 신호 붕괴” 문제를 방지한다. 논문은 이 절차가 단일턴 기대 보상 Jₛᵢₙ𝓰ₗₑ(π) 의 무편향 추정량을 제공함을 정리와 증명을 통해 보인다.

두 번째 방법인 피드백 모델링(RLTF‑FM)은 피드백 자체를 예측하는 보조 목표를 추가한다. 정책 네트워크에 피드백 생성기 M을 모방하는 서브네트워크를 두어, (x₀, y₀) 쌍에 대한 실제 피드백 c₀와 예측 피드백 ĉ₀ 사이의 손실을 최소화한다. 이때 피드백 예측은 텍스트 생성과 동일한 토큰‑레벨 언어 모델링 손실을 사용하므로, 정책이 피드백의 의미적 구조를 내재화하도록 유도한다. 특히, 추론 시에는 자체 생성한 “자기 비판”을 다시 입력으로 사용해 1‑턴 성능을 간접적으로 향상시킬 수 있다. 저자는 피드백 모델링을 표현 학습 관점에서 분석하고, 피드백 공간 C 가 정책 파라미터 θ 에 대한 추가적인 정규화 효과를 제공함을 보인다.

이론적 분석 외에도, 논문은 다양한 도메인에 걸친 실험을 수행한다. Reasoning Gym(논리 퍼즐), MA​TH500·AIME24(경쟁 수학), LitBench·WritingBench(창의적 글쓰기) 등 5개의 벤치마크에서 RLTF‑SD와 RLTF‑FM 모두 기존 SFT, PPO, 그리고 텍스트 피드백을 단순히 보상에 매핑한 “RL‑TF‑Reward” 방식보다 유의미하게 높은 정확도·점수를 기록한다. 특히, 두 턴을 모두 활용하는 naïve 멀티턴 RL은 두 번째 턴 성능은 개선하지만 첫 번째 턴에서는 거의 향상이 없다는 점을 실험적으로 확인하고, 제안된 두 방법이 “피드백을 내부화”하는 데 효과적임을 입증한다.

강점으로는 (1) 피드백을 비용 효율적으로 활용해 스케일러블하게 학습할 수 있다는 점, (2) 기존 RL‑SFT 파이프라인에 비교적 작은 수정만으로 적용 가능하다는 실용성, (3) 이론적 무편향성·분산 제어에 대한 명확한 근거 제시가 있다. 반면 한계점은 (①) 피드백 제공자 M 의 품질에 크게 의존한다는 점이며, 특히 자동화된 피드백(예: 코드 컴파일 에러)과 인간 피드백 사이의 차이를 정량화하지 못했다. (②) 현재 실험은 2‑턴 상호작용에 초점을 맞추었으며, 다턴(>2) 시나리오에서의 확장성은 미탐색이다. (③) 클리핑·중요도 가중치 등 하이퍼파라미터가 많아 실제 배포 시 튜닝 비용이 존재한다.

향후 연구 방향으로는 (i) 피드백 생성 모델을 사전 학습하거나 메타러닝을 통해 자동화·다양화하는 방안, (ii) 다턴 대화형 RLTF를 설계해 복합적인 피드백 흐름을 활용하는 방법, (iii) 인간 피드백과 자동 피드백을 혼합한 멀티모달 피드백 학습 프레임워크 구축이 제시된다. 또한, 피드백 모델링이 정책의 “자기 비판” 능력을 어떻게 강화하는지에 대한 심층 분석과, 이를 기반으로 한 “피드백‑자기 교정” 루프를 설계하는 연구도 기대된다.