표 기반 체계적 사고를 위한 단계별 계획‑실행 접근법

초록

PoTable은 표 질문응답·사실 검증 작업을 위해 LLM과 실시간 파이썬 인터프리터를 결합한 ‘계획‑실행’ 프레임워크를 제안한다. 작업을 초기화, 행 선택, 데이터 정제, 추론, 최종 답변의 5개 단계로 구분하고, 각 단계마다 목표에 맞는 연산 체인을 먼저 계획한 뒤 코드를 생성·실행한다. 오류가 발생하면 피드백을 받아 재생성하는 루프를 통해 완전 실행 가능한 프로그램을 만든다. 실험 결과 WikiTQ·TabFact 데이터셋에서 기존 LLM 기반 방법보다 정확도·설명가능성이 크게 향상되었으며, 복잡한 쿼리에서도 안정적인 성능을 보였다.

상세 분석

PoTable은 기존 LLM 기반 표 추론 연구가 “질문‑답변 → 연산 선택 → 실행”이라는 단일 흐름에 머무르는 한계를 지적한다. 특히 복잡한 테이블이나 다단계 논리 요구 상황에서 연산 체인이 길어지면 단계 누락·논리 혼란이 빈번해진다. 이를 해결하기 위해 저자들은 인간 데이터 분석가가 실제로 수행하는 ‘분석 단계’를 모델링하였다. 구체적으로 다섯 단계(초기화, 행 선택, 데이터 타입 정제, 추론, 최종 답변)로 작업을 구조화하고, 각 단계마다 명확한 목표와 프롬프트 지시문을 제공한다.

계획‑실행 메커니즘은 두 단계로 나뉜다. 첫 번째 ‘계획’ 단계에서 LLM은 현재 단계의 목표를 고려해 연산 체인(예: 열 선택 → 필터링 → 집계)을 텍스트 형태로 설계한다. 두 번째 ‘실행’ 단계에서는 설계된 연산을 파이썬 코드로 변환하고, 실시간 인터프리터에 전달해 즉시 실행한다. 실행 중 오류가 발생하면 인터프리터가 오류 메시지를 LLM에 반환하고, LLM은 이를 기반으로 코드를 수정·재생성한다. 이 피드백 루프는 코드의 정확성을 보장하고, 단계별 검증을 가능하게 한다.

기술적 핵심은 (1) 단계별 목표 정의를 통해 연산 체인의 길이를 제한하고, (2) LLM‑코드‑인터프리터 삼각관계에서 발생하는 오류를 자동 디버깅함으로써 ‘홀홀’ 현상을 최소화한다는 점이다. 또한, 각 단계별로 주석이 포함된 완전 실행 가능한 파이썬 스크립트를 출력함으로써 결과의 재현성과 설명 가능성을 크게 높인다.

실험에서는 WikiTQ와 TabFact의 표준·복합 평가 세트 4가지에 대해 GPT‑4 기반 PoTable을 적용했다. 표준 셋에서는 평균 4.3%p 이상의 정확도 향상을 보였으며, 복합 셋에서는 3.68%p 상승했다. 효율성 측면에서도 단계별 코드 실행이 한 번에 전체 쿼리를 처리하는 기존 방법보다 평균 15% 정도 빠른 것으로 보고되었다. Ablation 연구에서는 단계 수를 줄이거나 피드백 루프를 제거했을 때 성능이 급격히 떨어지는 것을 확인해, 제안된 구조가 실제 성능 향상에 기여함을 입증했다.

전체적으로 PoTable은 LLM 기반 표 추론에 인간 전문가의 체계적 사고 방식을 도입함으로써, 복잡한 연산 흐름에서도 높은 정확도와 투명한 추론 과정을 제공한다는 점에서 의미가 크다.