그래프 알고리즘 벤치마크로 본 대형 추론 모델의 약점

초록

본 논문은 그래프 알고리즘 문제를 활용한 새로운 벤치마크 GrAlgoBench를 제안한다. 9개의 과제와 2,700개의 실제 네트워크 그래프(8~160노드)를 통해 대형 추론 모델(LRM)의 장기 컨텍스트 추론 능력과 자체 검증(over‑thinking) 현상을 평가한다. 실험 결과, 그래프 규모가 120노드를 넘어가면 정확도가 50% 이하로 급락하고, 실행 오류·메모리 부족·중복 추론이 주요 원인임을 밝힌다. 또한, 모델이 과도한 자기 검증을 수행해 추론 길이는 늘어나지만 정답률은 개선되지 않는 ‘과잉 사고’ 현상을 확인한다.

상세 분석

GrAlgoBench는 기존 수학·코드·상식 벤치마크가 갖는 “짧은 컨텍스트”, “도전 부족”, “정답 검증 어려움”이라는 세 가지 한계를 극복하도록 설계되었다. 첫째, 그래프를 텍스트로 기술하면 노드·엣지 목록이 길어져 자연스럽게 수천 토큰 규모의 입력이 생성된다. 이는 LRM이 실제 장기 메모리와 순차적 추론을 얼마나 유지하는지를 테스트할 수 있는 최적의 환경이다. 둘째, 그래프의 노드 수와 엣지 밀도를 조절함으로써 난이도를 정밀하게 스케일링한다. 논문에서는 8‑15, 16‑30, 31‑50, 51‑80, 81‑120, 121‑160 노드 구간을 정의하고, 각 구간별로 ‘Enumeration’, ‘Exploration’, ‘Intuition’이라는 세 가지 알고리즘 패러다임에 기반한 과제를 배치했다. 이는 CLRS에서 제시하는 완전 탐색, 탐색, 탐욕 알고리즘과 직접 매핑되며, 모델이 각각의 패러다임을 얼마나 잘 모방하는지를 정량화한다. 셋째, 정답이 정수·노드·엣지와 같이 유일한 형태로 제한되므로 자동 채점이 가능하고, 동일 문제에 대한 다양한 변형을 무작위 그래프 생성으로 손쉽게 확장할 수 있다.

실험에서는 GPT‑4‑Turbo, OpenAI‑O1, DeepSeek‑R1, Qwen‑2.5 등 최신 LRM과 비추론 모델을 Pass@k, Cons@k, Z‑score, 효율성 지표 등으로 평가했다. 결과는 두 가지 주요 약점을 드러낸다. 첫 번째는 “컨텍스트 길이 민감도”이다. 그래프가 120노드를 초과하면 대부분의 모델이 50% 이하의 정확도로 급락한다. 오류 분석을 보면 (1) 단계별 실행 오류—예를 들어, 경로 합산에서 누적값을 잘못 계산하거나, 최소 신장 트리에서 사이클 검증을 놓치는 경우가 빈번히 발생한다; (2) 메모리 약화—모델이 이전에 언급된 노드·가중치를 기억하지 못해 중간 결과를 재구성한다; (3) 중복 추론—이미 탐색한 상태를 다시 검토하면서 토큰을 낭비한다. 두 번째는 “과잉 사고(over‑thinking)” 현상이다. 모델은 자체 검증(self‑verification) 단계에서 “잠시 멈춤”, “하지만”, “그래서”와 같은 고유 토큰을 반복적으로 삽입하며, 실제 정답에 도달하는 데 기여하지 않는 긴 추론 트레이스를 만든다. 이 현상은 특히 탐색(DFS/BFS) 과제에서 두드러지며, 검증 단계의 성공률은 낮지만 전체 추론 길이는 크게 늘어난다.

저자들은 이러한 약점을 완화하기 위한 두 가지 방향을 제시한다. 첫째, 장기 메모리 관리와 상태 업데이트 메커니즘을 강화해 중간 결과를 효율적으로 저장·재활용하도록 설계한다. 둘째, 자기 검증을 메타‑리워드(예: “검증 완료”)와 같은 명시적 종료 신호와 결합해 불필요한 반복을 억제한다. 전반적으로 GrAlgoBench는 그래프 알고리즘이라는 실용적이면서도 복합적인 도메인을 통해 LRM의 추론 한계와 개선 여지를 명확히 드러내는 강력한 평가 도구임을 입증한다.