검색 기반 추론을 강화하는 Actor Refiner 협업 프레임워크

2️⃣ Meta‑Refiner: 두 서브모듈인 Discriminator(π_d)와 Trimmer(π_h) 로 구성된다. Discriminator는 전체 추론 궤적이 질문과 일관되는지를 확률적으로 판단하고, 사전 정의된 임계값 τ 를 넘지 못하면 궤적을 “거부”한다. Trimmer는 거부된 궤적에서 최초 오류 지점을 k 로 샘플링하고, 그 지점 이전 프리픽스는 보존한 채 뒤쪽 서브시퀀스를 Actor(πₗ) 로 다시 생성한다. 이 “cut‑and‑regenerate” 메커니즘은 불필요한 전체 재시도를 방지하고, 오류 원인에 직접 개입함으로써 샘플 효율성을 크게 높인다.

혼합 정책 이론: 저자는 Actor와 Refiner가 교대로 작동하는 과정을 “스무딩된 혼합 정책(q(y|x))” 으로 수식화하고, π_d의 거부 확률 α와 π_h의 절단 분포를 포함한 마르코프 연쇄를 정의한다. 정리 1에서는 π_d가 일정 수준 이상의 정확도를 보장하면, 혼합 정책의 기대 보상이 순수 Actor 정책보다 엄격히 크다는 것을 증명한다. 이는 오류 교정이 단순한 샘플링 확대가 아니라, 정책 공간에서의 유리한 이동임을 이론적으로 뒷받침한다.

하이브리드 보상 설계: 전체 보상 R(y) = r_outcome(y)·(1 + r_process(y)) 로 정의한다. r_outcome은 정답 일치 여부(Exact Match)이며, r_process는 검색된 문서 집합 C 에 대해 외부 평가자(evaluator)가 부여한 유용성 점수 u_i 의 평균이다. 이렇게 하면 검색 증거가 풍부할수록 보상이 상승하지만, 최종 정답이 틀리면 전체 보상이 0이 되므로 “검색만으로 보상 획득”을 방지한다.

학습 최적화: 그룹 상대 정책 최적화(GRPO) 를 이용해 Actor와 Refiner의 파라미터 θ 를 공동 업데이트한다. 각 입력 x 에 대해 G개의 궤적을 샘플링하고, 하이브리드 보상 기반 어드밴티지를 그룹 정규화하여 정책 비율 r_t(θ) 와 KL 정규화 항을 포함한 손실 L_GRPO 를 최소화한다. 이 접근법은 기존 PPO‑style 업데이트보다 다중 단계 보상의 변동성을 더 안정적으로 다룰 수 있다.

실험 결과: 7B, 13B, 32B 규모 모델을 Open‑Domain QA(NaturalQuestions, TriviaQA)와 다중 홉 QA(HotpotQA, Musique)에 적용했으며, 모두 기존 RAG‑Fusion, ReAct, Self‑Ask, 그리고 최신 RL‑based 검색 에이전트보다 2‑5%p(percentage points) 높은 정확도를 기록했다. 특히 검색 단계에서 불필요한 쿼리 수가 평균 18% 감소했으며, “cut‑and‑regenerate”가 적용된 경우 오류 전파가 크게 억제되어 정답 일치율이 크게 상승했다.

한계 및 향후 과제: 현재 Refiner는 동일 LLM을 공유하지만, 별도 파라미터화된 Refiner를 도입하면 더 정교한 오류 진단이 가능할 것으로 보인다. 또한, 외부 평가자(evaluator) 대신 LLM‑기반 자동 평가를 사용하면 라벨링 비용을 절감할 수 있다. 마지막으로, 검색 엔진이 제공하는 다중 모달(이미지, 표) 정보에 대한 확장도 연구가 필요하다.