경로 사고를 통한 대규모 언어 모델의 관계 추론 강화

초록

본 논문은 대규모 언어 모델(LLM)의 관계 추론 한계를 극복하기 위해 “Path‑of‑Thoughts”(PoT)라는 3단계 프레임워크를 제안한다. 텍스트에서 핵심 엔터티·관계·속성을 한 번의 LLM 호출로 그래프로 추출하고, 질의와 관련된 추론 경로를 식별한 뒤, 각 경로를 독립적으로 LLM 또는 심볼릭 솔버에 전달해 답을 도출한다. 네 개 데이터셋(kinship·spatial)에서 기존 최첨단 방법보다 최대 21.3% 정확도 향상을 보였으며, 추출 오류와 모호성에 대한 강인성도 입증하였다.

상세 분석

PoT는 관계 추론 문제를 “그래프 추출 → 경로 식별 → 추론”이라는 순차적 파이프라인으로 재구성한다. 첫 단계에서는 사전 정의된 관계 집합 R에 기반해 텍스트 서사를 (head, relation, tail) 형태의 트리플로 변환한다. 핵심은 단일 LLM 호출로 모든 엔터티와 관계, 속성을 동시에 추출하도록 설계된 프롬프트이다. 여기에는 (i) 논리적 구획을 나타내는 섹션 마크(#) 사용, (ii) 출력 형식을 고정하기 위한 구문 구분자(대괄호·괄호) 지정, (iii) 관계 유형을 미리 정의해 일관된 라벨링을 강제하는 전략이 포함된다. 이러한 구조화된 프롬프트는 LLM이 텍스트를 오해하거나 누락하는 위험을 크게 낮춘다.

두 번째 단계인 경로 식별은 추출된 그래프에서 질의에 등장하는 두 엔터티 사이의 모든 가능한 연결 경로를 탐색한다. 기존 방법이 전체 그래프를 그대로 사용해 일관성 없는 추론을 초래하는 반면, PoT는 질의 중심의 서브그래프만을 선택함으로써 불필요한 노이즈를 배제한다. 경로는 다중 독립적일 수 있으며, 각 경로마다 별도의 추론 과정을 수행한다. 이는 “경로‑별 독립 추론”이라는 새로운 아이디어로, 하나의 경로에서 발생한 오류가 다른 경로에 전이되지 않도록 설계되었다.

마지막 추론 단계에서는 두 가지 옵션을 제공한다. (1) LLM 기반 CoT/CoT‑SC와 유사한 자연어 사유를 각 경로에 적용해 답을 생성하고, 다수결 혹은 확률적 집계로 최종 결정을 내린다. (2) 심볼릭 솔버(예: Answer Set Programming)와 연계해 명시적 규칙에 따라 논리적 연산을 수행한다. 특히 심볼릭 방식은 도메인‑특화 규칙이 존재할 때 높은 정확도를 보이며, LLM이 제공한 그래프가 부분적으로 부정확하더라도 경로별 검증을 통해 전체 오류 전파를 억제한다.

실험에서는 CLUTRR(kinship)과 StepGame·SPARTUN(공간) 등 네 개 데이터셋을 사용했으며, PoT는 기존 CoT, Tree‑of‑Thoughts, Graph‑of‑Thoughts, DSR‑LM, LINC 등과 비교해 평균 12.7%p, 최고 21.3%p의 정확도 향상을 기록했다. 특히 LLM 호출 횟수를 최소화하고, 파인튜닝 없이도 높은 성능을 유지한다는 점이 실용적이다. 오류 내성 실험에서는 의도적으로 관계를 뒤바꾸거나 누락시키는 노이즈를 삽입했을 때, PoT는 경로‑별 독립 추론 덕분에 성능 저하가 5% 이하에 그쳤다. 이는 기존 단일 체인 방식이 노이즈에 취약한 것과 대조된다.

한계점으로는 (a) 그래프 추출 단계에서 여전히 복잡한 문맥(예: 이중 부정, 암시적 관계) 처리에 어려움이 남으며, (b) 경로 탐색 비용이 엔터티 수가 급증할 경우 급격히 증가할 수 있다는 점이다. 향후 연구에서는 (i) 멀티‑샷 프롬프트와 자체 검증 루프를 결합해 추출 정확도를 더욱 높이고, (ii) 그래프 압축·핵심 경로 샘플링 기법을 도입해 계산 복잡도를 제어하는 방향을 제시한다. 전반적으로 PoT는 LLM 기반 관계 추론에 그래프‑중심 구조와 경로‑별 독립성을 도입함으로써, 신뢰성·효율성·확장성 측면에서 새로운 패러다임을 제시한다.