검증 가능한 재귀 분해 강화학습

초록

본 논문은 미분 규칙을 활용해 수학적 추론 문제를 구조적으로 분해하고, 각 분해가 “복잡도 감소”, “해답 포함”, “규칙 기반 유도” 세 가지 검증 조건을 만족하도록 설계한 Verify‑RL 프레임워크를 제안한다. 자동 심볼릭 검증을 통해 무효 분해를 사전에 차단함으로써 커리큘럼 학습 효율을 크게 높였으며, 실험에서 가장 어려운 미분 문제의 정확도가 32 %에서 68 %로 두 배 이상 상승하였다.

상세 분석

Verify‑RL은 기존의 경험적 분해 방식이 갖는 “분해가 실제로 쉬워지는가”, “자식 문제의 해답이 부모 문제 해결에 기여하는가”, “수학적으로 타당한 관계인가”라는 세 가지 근본적인 의문을 형식화한다. 이를 위해 저자들은 미분식의 표현 트리를 정의하고, 트리 깊이( nesting depth )를 복잡도 척도로 채택한다. V1( Easier Child )은 자식 트리의 깊이가 부모보다 엄격히 낮아야 함을 요구해, 커리큘럼에서 선행 학습 순서를 보장한다. V2( Solution Helpful )는 자식 문제의 미분 결과가 부모 문제의 미분식에 곱셈 혹은 덧셈 항으로 포함되는지를 확인함으로써, 자식 해답이 실제로 부모 해답을 구성하는 요소임을 검증한다. V3( Rule Derivation )는 자식‑부모 관계가 체인(rule), 곱(rule), 합(rule) 중 하나의 미분 규칙에 의해 직접 도출되는지를 확인한다. 이러한 검증은 SymPy와 같은 심볼릭 엔진을 이용해 자동화되며, “verification by construction”이라는 강력한 보증을 제공한다.

이론적으로 저자들은 체인 규칙, 곱 규칙, 합 규칙 각각에 대해 V1–V3을 만족함을 정리와 증명으로 제시한다. 예를 들어, 체인 규칙에서는 내부 함수 g(x)가 자식이 되고, 복잡도는 1 감소하며, 미분 결과 σ(g) 가 σ(f∘g) 의 곱셈 인자에 포함된다. 곱 규칙에서는 두 인자 u(x), v(x) 가 각각 자식이 되고, 복잡도 역시 감소한다. 합 규칙은 독립적인 항들로 분해되므로 복잡도 감소가 완화되지만, 각 항이 독립적으로 해결될 수 있음을 보장한다.

구현 측면에서 논문은 두 개의 의사코드를 제공한다. 첫 번째는 검증 절차를 포함한 재귀적 분해 알고리즘이며, 두 번째는 트리 기반 위상 정렬을 통해 난이도 레벨(D1~D5) 순으로 커리큘럼을 구성한다. 모든 자식‑부모 쌍이 V1–V3을 통과해야만 트리에 포함되며, 통과하지 못한 경우 재분해가 트리거된다.

실험에서는 0.6 B~3 B 파라미터 규모의 모델을 다양한 RL 알고리즘(GRPO, V‑PPO 등)으로 학습시켰다. 검증되지 않은 기존 방법(LADDER 등)은 약 21.6 %의 분해가 무효였던 반면, Verify‑RL은 100 % 검증 성공률을 기록했다. 결과적으로 가장 높은 난이도 D5 문제에서 정확도가 32 %→68 %로 상승했으며, 전체 평균 정확도는 40 % 상대 향상을 보였다. Ablation study에서는 V1, V2, V3 각각을 제거했을 때 성능이 급격히 감소함을 확인해, 세 검증 조건이 상호 보완적으로 작용함을 입증한다.

이 논문은 미분이라는 제한된 도메인에 국한되지만, 규칙 기반 분해와 자동 검증이라는 아이디어를 다른 수학적 연산(적분, 급수 전개 등)이나 프로그래밍 언어의 정형화된 변환 규칙에도 확장 가능함을 시사한다. 또한, “검증 가능한 커리큘럼”이라는 개념은 RL 기반 자기 지도 학습에서 노이즈를 크게 감소시켜 학습 안정성을 높이는 새로운 패러다임을 제시한다.