수학 문제 해결을 위한 실행 기반 추론 증강

초록

**
본 논문은 수학 문제 해결 능력을 향상시키기 위해 프로그램을 명시적 추론 표현으로 활용하고, 실행 피드백을 반복적으로 반영하는 Iteratively Improved Program Construction(IIPC) 방식을 제안한다. IIPC는 고수준 언어 추론(Chain‑of‑Thought)과 프로그램‑리파인먼트 두 흐름을 병렬로 유지하며, 오류 메모리를 활용해 이전 실수를 피하고 최종 답안을 도출한다. 다양한 LLM(GPT‑4o mini, Gemini Flash, Mistral Small 등)에서 기존 멀티‑에이전트·코드‑기반 방법들을 능가함을 실험적으로 입증하고, 코드와 추론 로그를 공개한다.

**

상세 분석

**
IIPC는 기존 수학 추론 에이전트가 안고 있던 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 대부분의 멀티‑에이전트 시스템은 순차적인 파이프라인을 사용해 한 번 생성된 추론 단계나 코드 조각을 수정하기 어렵다. 이로 인해 초기 오류가 뒤 단계에 전이되어 성능이 급격히 저하된다. IIPC는 프로그램 자체를 “전역 추론 상태”로 간주하고, 프로그램을 수정·재실행하는 루프를 통해 언제든지 이전 단계로 돌아가 수정할 수 있는 구조를 제공한다. 둘째, 순수 코드‑기반 에이전트는 실행 결과에 과도하게 의존하면서, 실행 오류가 없는 경우에도 잘못된 중간 논리를 그대로 받아들여 전체 추론이 왜곡되는 위험이 있다. IIPC는 이를 방지하기 위해 두 갈래 아키텍처를 도입한다. 토큰‑레벨의 CoT(Chain‑of‑Thought) 흐름은 프로그램 실행과 무관하게 순수 언어적 논리를 전개하고, 별도의 프로그램‑리파인먼트 흐름은 실행 피드백을 기반으로 코드만을 점진적으로 개선한다. 두 흐름은 최종 단계에서만 통합되어, 언어 모델이 프로그램 출력에 과도하게 좌우되지 않으면서도 실행 결과를 활용할 수 있다.

구현 세부사항을 살펴보면, IIPC는 초기 명제 집합 s를 문제 x로부터 추출하고(f_init), 이를 바탕으로 초기 프로그램 p₁을 생성한다(f_prog). 프로그램은 제한된 라이브러리(numpy, math, sympy, scipy, scikit‑spatial)만 사용하도록 강제하고, 리스트 컴프리헨션·재귀를 금지해 디버깅을 용이하게 만든다. 실행 결과 o₁가 오류이면 f_err가 오류 구간만을 수정하고, 오류 서술 m₁을 메모리 M₁에 축적한다. 오류가 없으면 f_val이 논리적 일관성을 검증한다. 이 과정을 최대 두 번의 프로세스 검증과 두 번의 오류 수정까지 반복하도록 제한하면서, 프로그램·오류 기록을 각각 P_t, M_t에 누적한다.

또한 IIPC는 별도 CoT c를 생성하고, 최종적으로 가장 최신의 작업 가능한 프로그램 p*와 그 출력 o*, 그리고 CoT c를 구조화된 프롬프트에 결합해(f_comb) 최종 답을 도출한다. 이 설계는 “프로그램‑우선”과 “언어‑우선” 추론의 장점을 동시에 살리면서, 어느 한쪽이 부정확할 경우 다른 쪽이 보완하도록 만든다.

실험에서는 MA​TH와 AIME 두 대규모 수학 벤치마크를 사용했으며, GPT‑4o mini, Gemini Flash, Mistral Small 3.2 24B, Gemma 3 27B, Llama 4 Maverick 등 다섯 모델에 대해 IIPC와 기존 CR, MACM, PoT 등을 비교했다. 결과는 대부분의 난이도와 주제에서 IIPC가 3~7%p 정도 정확도 향상을 보였으며, 특히 고난이도 AIME 문제에서 실행‑피드백 기반 수정이 큰 효과를 발휘했다. 추가적인 Ablation 연구에서는 (1) 프로그램‑리파인먼트 없이 순수 CoT만 사용했을 때 성능이 급격히 떨어짐을, (2) 오류 메모리를 비활성화하면 반복 오류가 증가함을, (3) 온도 파라미터를 높이면 토큰 사용량은 늘지만 정확도는 크게 개선되지 않음을 확인했다.

마지막으로 논문은 전체 코드·데이터·추론 로그를 오픈소스로 공개해 재현성을 확보하고, 향후 프로그램‑중심 추론 연구의 베이스라인으로 활용될 것을 제안한다. 전체적으로 IIPC는 “프로그램을 추론의 핵심 데이터 구조로 삼고, 실행 피드백을 반복적으로 반영한다”는 새로운 패러다임을 제시함으로써, LLM 기반 수학 문제 해결에서 기존 멀티‑에이전트·코드‑기반 접근법의 한계를 뛰어넘는 실용적이고 확장 가능한 솔루션을 제공한다.

**