오류‑지역화 기반 자동 최적화 모델링 혁신

초록

본 논문은 자동 최적화 모델링에서 LLM이 범하는 오류가 특정 의미 단위에 국한된다는 “오류‑지역화” 현상을 발견하고, 이를 활용한 데이터 합성 및 동적 지도‑미세조정 정책(DFPO)을 제안한다. MIND 프레임워크는 고밀도 오류‑특화 학습 데이터(MIND‑Train)를 생성하고, 어려운 문제에 대해 지역적 정정을 수행함으로써 기존 방법들을 능가한다. 여섯 개 벤치마크에서 일관된 성능 향상을 입증했으며, 데이터와 벤치마크를 공개한다.

상세 분석

본 연구는 자동 최적화 모델링(Automated Optimization Modeling) 분야에서 대형 언어 모델(LLM)의 오류 특성을 정밀히 분석한 뒤, 두 가지 근본적인 한계(L1: 오류‑특정 문제의 희소성, L2: 어려운 문제에 대한 보상 신호의 희소성)를 도출한다. 오류 분석 결과, 변수, 제약식, 목적식 등 각각의 의미적 구성요소에 오류가 국한되는 “오류‑지역화” 현상이 발견되었다. 이는 전체 솔루션이 아니라 일부 세그먼트만 수정하면 정답에 도달할 수 있음을 의미한다. 이러한 관찰을 바탕으로 저자들은 두 단계의 MIND 프레임워크를 설계한다. 첫 번째 단계는 오류‑주도 역방향 데이터 합성 파이프라인으로, 오류가 자주 발생하는 구성요소를 집중적으로 변형·재생성해 고밀도 학습 코퍼스(MIND‑Train)를 만든다. 두 번째 단계는 Dynamic Supervised Fine‑tuning Policy Optimization(DFPO)이다. DFPO는 기존의 지도‑미세조정(SFT)과 강화학습(RL) 방식을 결합해, 모델이 생성한 잘못된 응답을 자동으로 교정하고, 교정된 응답이 원본 모델의 분포와 약간만 차이 나도록 제어한다. 이를 통해 보상 신호가 희소한 어려운 문제에서도 학습 효율을 크게 높인다. 실험에서는 ORLM, Step‑Opt, Resocratic, OptMATH 등 최신 방법들과 비교했을 때, 6개 벤치마크 전반에 걸쳐 평균 4~7%p 이상의 정확도 향상을 기록한다. 또한 오류 비율이 0.33에 불과한 실제 데이터에서 MIND‑Train이 얼마나 효율적인 샘플 활용을 가능하게 하는지 정량적으로 입증한다. 논문은 또한 새로운 벤치마크(MIND‑Bench)와 데이터셋을 공개해 연구 커뮤니티의 재현성을 확보한다. 전체적으로 오류‑지역화라는 새로운 관점을 도입해 데이터 생성과 정책 최적화를 통합한 점이 가장 큰 혁신이며, 기존의 전역적 추론에 비해 학습 비용과 데이터 요구량을 현저히 감소시킨다.