동적 검색이 LLM 추론을 돕지만, 검색을 하지 않을 때가 더 효과적
초록
본 논문은 LLM이 문제 해결 중 언제 외부 지식베이스를 검색할지 스스로 판단하도록 설계한 적응형 검색-증강 체인‑오브‑쓰루(Adaptive Retrieval‑CoT) 모델을 제안한다. GSM8K와 MATH‑500 벤치마크에서 정적 검색(Static Retrieval‑CoT)과 비교했을 때, 적응형 검색은 전체 정확도에서 소폭 향상되지만, 실제 성능 향상은 “검색을 하지 않은 경우”에 국한된다. 모델은 문제 난이도에 따라 검색 빈도를 조절하고, 검색을 포기한 경우 높은 정확도를 보이며, 이는 모델의 메타인지적 자기평가 능력이 핵심임을 시사한다.
상세 분석
이 연구는 LLM이 복잡한 수학 문제를 해결할 때 정적 지식에만 의존하는 한계를 극복하기 위해, 검색을 동적 도구로 활용하는 메커니즘을 설계하였다. 핵심 아이디어는 LLM 자체를 “에이전트”로 보고, 추론 과정 중에 스스로
실험 결과는 세 가지 전략을 비교한다. 1) 순수 CoT(Chain‑of‑Thought) 베이스라인, 2) 초기 문제만을 질의해 얻은 정적 검색 결과를 앞에 붙이는 Static‑Retrieval‑CoT, 3) 추론 중 필요에 따라 검색을 수행하는 Adaptive‑Retrieval‑CoT. GSM8K에서는 Adaptive‑Retrieval‑CoT가 CoT 대비 +1.1 pp, MATH‑500에서는 +6.4 pp의 정확도 향상을 기록했다. 흥미롭게도 정적 검색은 오히려 CoT보다 6.3 pp 낮은 성능을 보이며, 무분별한 외부 정보가 모델의 논리 흐름을 방해한다는 점을 확인한다.
세부 분석에서는 검색 호출 빈도와 문제 난이도 사이의 강한 상관관계를 발견한다. GSM8K에서는 전체 문제의 7 %만 검색을 사용했지만, MATH‑500에서는 38.8 %가 검색을 수행했으며, 난이도 5(가장 어려운) 문제에서는 60 %가 검색을 이용했다. 이는 모델이 자체적인 불확실성을 감지하고, 더 어려운 문제일수록 외부 지식을 적극 활용한다는 메타인지적 행동을 보여준다. 그러나 검색이 실제로 정답을 바꾸는 비율은 낮았다. GSM8K에서는 검색이 정답을 바꾼 경우가 2.5 %에 불과했으며, MATH‑500에서도 도움을 준 경우와 해를 끼친 경우가 거의 동등했다. 즉, 검색 자체보다는 “검색을 하지 않음”이라는 결정이 모델의 자신감과 정확도를 높은 신뢰도로 예측한다는 점이 핵심이다. 검색을 트리거한 뒤 모델이 스스로 “검색 정보가 도움이 되지 않는다”라고 판단하고 진행을 계속하는 경우도 관찰되었다.
이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 외부 지식은 언제, 어떻게 제공되는가에 따라 성능이 크게 달라진다. 정적, 일괄적인 컨텍스트 삽입은 오히려 잡음으로 작용할 수 있다. 둘째, LLM이 자신의 지식 한계를 인식하고, 필요할 때만 검색을 호출하는 메타인지적 메커니즘이 실제 성능 향상의 핵심 동인이다. 따라서 향후 연구는 검색 트리거를 더욱 정교히 설계하고, 검색 결과의 품질을 평가·필터링하는 모듈을 강화함으로써, 모델이 “언제 검색하고, 언제 포기할지”를 더욱 정확히 판단하도록 하는 방향이 유망하다.
댓글 및 학술 토론
Loading comments...
의견 남기기