TMK 프롬프트가 블록스월드 계획 성능을 97%까지 끌어올리다

초록

본 논문은 인지·교육 과학에서 유래한 Task‑Method‑Knowledge (TMK) 프레임워크를 LLM 프롬프트에 적용해 PlanBench의 Blocksworld 변형 과제에서 성능을 크게 향상시켰음을 보고한다. TMK 기반 프롬프트는 모델이 “왜(why)”를 명시적으로 인식하도록 유도해, 기존 Chain‑of‑Thought(CoT) 대비 65% 이상, 최고 97.3% 정확도를 달성한다.

상세 분석

본 연구는 LLM이 전통적인 계획 문제에서 보여주는 “언어적 패턴 매칭” 한계를 지적하고, 이를 극복하기 위한 새로운 프롬프트 설계 원칙을 제시한다. 핵심 아이디어는 TMK(Task‑Method‑Knowledge)라는 세 단계 구조를 JSON 형태로 모델 입력에 삽입함으로써, 목표(Task), 수행 절차(Method), 그리고 도메인 지식(Knowledge)을 명시적으로 구분한다는 점이다.

첫째, TMK는 “왜(why)”에 해당하는 목표와 그 목표를 달성하기 위한 인과·목적론적 연결고리를 제공한다. 이는 기존 HTN이나 BDI와 달리 목표‑수단‑지식 간의 인과 관계를 명시적으로 기술하므로, LLM이 단순히 “무엇을” 하는지보다 “왜” 하는지를 내부적으로 추론하도록 유도한다.

둘째, 연구진은 PlanBench 벤치마크의 세 가지 변형(Classic, Mystery, Random) 중 특히 의미적 힌트가 사라진 Random Blocksworld에 초점을 맞추었다. Random 변형은 액션 라벨이 알파벳·숫자 문자열로 대체돼, 모델이 사전 학습된 의미적 연관성을 활용할 수 없게 만든다. 이 조건에서 TMK 프롬프트는 모델이 순수히 형식적·논리적 절차를 따르게 만들며, 결과적으로 31.5%에서 97.3%까지 정확도가 급등한다.

셋째, 실험은 OpenAI의 GPT‑4, GPT‑4‑Turbo, Claude‑3‑Opus 등 최신 파워풀 모델을 대상으로 수행했으며, TMK 적용 전후의 성능 차이를 정량화했다. 특히 “o1” 모델(고성능 GPT‑4 변형)에서는 65.8%p 상승을 기록했으며, 이는 기존 CoT가 제시한 1~2% 수준의 개선과는 질적으로 다른 차원의 효과임을 보여준다.

넷째, 저자는 TMK가 단순히 “컨텍스트”를 제공하는 것이 아니라, 모델의 내부 토큰 예측 메커니즘을 “코드 실행/심볼릭 연산” 경로로 전환시키는 “추론 스티어링 메커니즘”으로 작동한다는 가설을 제시한다. 이는 모델이 언어적 확률 분포에 머무르지 않고, 내재된 프로그램적 추론 능력을 활성화한다는 의미이며, 향후 LLM을 심볼릭 솔버와 결합하는 하이브리드 시스템 설계에 중요한 시사점을 제공한다.

마지막으로, 저자는 TMK 설계가 도메인 전문가에 의해 수작업으로 구축된다는 한계와, 현재는 3계층(Goal‑Method‑Knowledge) 구조만 사용했지만 복잡한 과제에서는 더 깊은 계층화가 필요할 수 있음을 인정한다. 또한, 모델 경량화(양자화·프루닝 등)된 버전에서는 TMK 효과가 감소한다는 부수적 결과를 제시해, TMK가 고성능 모델의 “표현 용량”에 의존한다는 점을 암시한다.

요약하면, TMK 프롬프트는 LLM이 계획 문제를 해결할 때 “왜”와 “어떻게”를 명시적으로 연결해, 언어적 편향을 최소화하고 형식적 계획 검증을 통과하도록 만든 혁신적 접근법이며, 특히 의미가 불투명한 환경에서 그 효과가 극대화된다.