사고 사슬 재사용성과 검증성 평가

초록

본 논문은 체인‑오브‑쓰(Chain‑of‑Thought, CoT) 추론을 단순 정확도 대신 “재사용성”과 “검증성”이라는 두 새로운 지표로 평가한다. Thinker‑Executor 프레임워크를 도입해 CoT 생성과 실행을 분리하고, 4개의 Thinker 모델과 10개의 Executor 모델을 5개 벤치마크에 적용해 실험하였다. 결과는 재사용성·검증성 점수가 기존 정확도와 낮은 상관관계를 보이며, 특화된 추론 모델이 일반 LLM보다 반드시 우수하지 않음을 보여준다.

상세 분석

이 연구는 LLM 기반 멀티에이전트 정보검색 파이프라인에서 중간 추론 결과인 CoT가 실제로 다른 에이전트에게 얼마나 활용될 수 있는지를 정량화하려는 시도이다. 기존의 CoT 평가가 최종 정답 정확도에만 초점을 맞추어, 모델이 ‘정답을 맞추는’ 과정이 진정한 추론인지 혹은 단순 암기·검색에 의존하는지 구분하지 못한다는 점을 비판한다. 이를 보완하기 위해 저자들은 Thinker‑Executor 구조를 제안한다. Thinker는 질문에 대해 CoT와 자체 답을 생성하고, Executor는 Thinker의 CoT를 입력에 추가해 답을 도출한다. 두 가지 핵심 지표는 다음과 같다.

1. 재사용성(Reusability) – Executor가 Thinker의 CoT를 그대로 받아들여 정답을 바꾸거나 유지할 수 있는 정도를 측정한다. 정확히는, (a) Executor가 원래 틀린 답을 Thinker의 올바른 CoT를 통해 정답으로 바꾸는 경우와 (b) Executor가 원래 맞은 답을 Thinker의 의도적으로 손상된(CoT)로 인해 틀리게 만드는 경우를 모두 포함해 비율을 산출한다. 높은 점수는 CoT가 모델에 독립적이며, 다른 모델이 그대로 따라 할 수 있음을 의미한다.

2. 검증성(Verifiability) – 동일한 CoT를 여러 Executor가 실행했을 때, Thinker가 얻은 최종 답과 일치하는 비율을 의미한다. 이는 CoT가 모호하지 않고, 해석에 따라 결과가 변하지 않음을 나타낸다.

실험 설계는 4개의 Thinker 모델(일반 목적 Gemma3‑27B, Llama3.1‑8B와 특화된 DeepSeek‑R1‑14B, Phi4‑Reasoning‑14B)과 10개의 Executor 모델을 ‘강한(Strong)’, ‘약한(Weak)’, ‘전체(Full)’ 세 위원회로 나누어 평가하였다. 벤치마크는 수학(GSM8K, SV‑AMP), 논리(StrategyQA), 과학(ARC‑Challenge), 상식(CommonSenseQA) 등 5가지 영역을 포함한다.

주요 결과는 다음과 같다. 첫째, 재사용성·검증성 점수는 정확도와 낮은 Kendall’s τ 상관관계를 보이며, 정확도가 높은 모델이 반드시 재사용성·검증성이 높지는 않다. 예를 들어 GSM8K에서 DeepSeek와 Gemma3가 정확도 상위였지만, Phi4‑Reasoning이 재사용성·검증성에서 크게 앞섰다. 둘째, 특화된 추론 모델이 일반 LLM보다 일관되게 우수하지 않다. Phi4‑Reasoning은 일부 데이터셋에서 높은 재사용성을 보였지만, DeepSeek‑R1은 여러 경우에서 낮은 점수를 기록했다. 셋째, 위원회의 강도에 따라 절대 점수는 달라지지만, Thinker 간 상대적 순위는 강한 위원회와 전체 위원회 사이에서 거의 일치한다(재사용성 τ=1.0, 검증성 τ≈0.8). 이는 점수 스케일이 변하더라도 모델 간 순위는 안정적임을 시사한다.

이 논문의 의의는 CoT 평가에 새로운 차원을 도입함으로써, LLM이 실제로 “생각”을 전달하고 다른 에이전트가 이를 재현할 수 있는지를 측정한다는 점이다. 재사용성은 설득력·전달력, 검증성은 일관성·해석 불가능성을 각각 포착한다. 따라서 단순 정확도 기반 리더보드가 놓칠 수 있는 ‘추론 품질’의 다면성을 드러낸다. 또한, Thinker‑Executor 프레임워크는 향후 CoT를 외부 프로그램이나 도구와 연결하는 연구(예: Program‑of‑Thought, Faithful CoT)와 자연스럽게 연계될 수 있다.

한계점으로는 (1) ‘손상된 CoT’를 생성하는 방법이 인간 주관에 의존해 자동화가 어려울 수 있다, (2) Executor 모델이 제한된 규모(360M‑3B)로만 테스트돼 대형 모델(>30B)에서의 일반화 여부가 미확인이다, (3) 재사용성·검증성 점수가 실제 사용자 신뢰도나 시스템 안전성에 미치는 영향을 정량화한 후속 연구가 필요하다. 향후 연구는 다양한 도메인(코드 생성, 의료 진단 등)과 더 큰 모델군을 포함해 프레임워크를 확장하고, 자동화된 CoT 품질 검증기와 결합해 실시간 피드백 루프를 구축하는 방향으로 진행될 수 있다.