효율적인 MCTS 기반 모듈형 추론으로 구현한 경량 Text‑to‑SQL 프레임워크 IESR

초록

IESR는 경량 LLM을 활용해 질문 이해·스키마 연결·수학 연산을 분리하고, 다중 경로 MCTS 탐색과 다수결 투표, 그리고 일관성 검증 디스크리미네이터를 결합해 복합 추론이 요구되는 Text‑to‑SQL 작업에서 기존 대형 모델에 필적하는 성능을 저비용으로 달성한다.

상세 분석

본 논문은 Text‑to‑SQL 분야에서 현재 대형 모델이 복잡한 수학·물리·상식 추론에 취약하고, 엔터프라이즈 환경에서 비용이 크게 발생한다는 문제점을 지적한다. 이를 해결하기 위해 제안된 IESR 프레임워크는 세 단계로 구성된다. 첫 번째 단계인 Information Understanding에서는 경량 LLM(예: Llama‑2‑7B)으로 질문에서 엔티티·수치·단위·관계 등을 추출하고, 이를 “잠재 의미 상태”(latent semantic state) S_q 로 표현한다. 여기서는 높은 리콜을 목표로 하며, 이후 Constraint‑aware Relation Filtering과 Soft Consistency Scoring을 통해 비학습 기반의 일관성 점수를 부여한다. 이 과정은 모델이 생성한 가설을 정형화된 제약(엔티티‑단위‑식)과 매칭시켜, 불필요한 환각을 사전에 차단한다.

두 번째 단계인 MCTS‑Based Reasoning에서는 SQL 생성 과정을 트리 구조로 모델링한다. 각 노드는 현재까지 구성된 SQL 조각(테이블 선택, 조인, 필터, 집계 등)과 별도로 수학 연산 모듈을 연결한다. 즉, 수치 연산은 별도의 서브트리에서 수행되어 SQL 템플릿과 독립적으로 처리된다. Monte‑Carlo Tree Search는 UCT(Upper Confidence bound applied to Trees) 공식을 사용해 탐색‑활용 균형을 맞추며, 각 경로는 Plan & Executor 모듈에 의해 실행 가능성 점수를 부여받는다. 다중 경로가 생성된 뒤, Majority Voting을 통해 가장 많이 지지받은 경로를 후보 집합으로 선정한다.

세 번째 단계인 Trajectory Consistency Verification에서는 두 개의 LLM(생성 모델과 디스크리미네이터)을 활용한다. 생성 모델은 후보 SQL을 실제 DB에 실행해 결과를 얻고, 디스크리미네이터는 질문‑SQL‑결과 삼중관계를 평가해 일관성 점수를 산출한다. 이 점수는 최종 선택 기준으로 사용되며, 특히 수학·물리 단위 변환 오류를 잡아내는 데 효과적이다.

실험에서는 복합 추론 벤치마크인 LogicCat(복잡도 EX 24.28)와 Archer(EX 37.28)에서 경량 모델만 사용했음에도 최신 대형 모델 대비 동일하거나 상위 수준의 실행 정확도를 기록했다. Ablation Study 결과는 (1) 질문 이해 단계의 고리콜 가설 생성, (2) MCTS 탐색의 다중 경로 유지, (3) 일관성 검증 디스크리미네이터가 각각 성능 향상에 크게 기여함을 보여준다. 또한, 기존 코더 모델이 물리 상식·단위 변환·다단계 수학 연산에서 편향을 보이며, 이러한 약점이 복합 질의에서 오류의 주요 원인임을 분석한다.

IESR의 주요 강점은 모듈화와 비학습 기반 제약 검증에 있다. 수학 연산을 SQL 생성과 분리함으로써 연산 오류가 SQL 구조에 전이되는 위험을 최소화하고, 경량 LLM만으로도 충분히 높은 리콜을 확보한다. 또한, MCTS와 다수결 투표는 단일 패스 생성 방식이 갖는 오류 전파 문제를 완화한다. 한계점으로는 (1) MCTS 탐색 비용이 질의당 수 초 수준으로 증가할 수 있어 실시간 서비스에선 추가 최적화가 필요하고, (2) 현재는 제약 집합을 수동 정의했기 때문에 새로운 도메인에 적용하려면 도메인‑특화 제약을 설계해야 한다는 점이다. 향후 연구에서는 (i) 탐색 효율을 높이기 위한 학습 기반 정책 네트워크 도입, (ii) 자동 제약 추출을 위한 메타‑학습, (iii) 멀티‑모달(표·그래프) 입력을 활용한 스키마 이해 확장을 제안한다.