데이터 구조를 통한 LLM 구조적 추론 평가

초록

본 논문은 대형 언어 모델(LLM)의 알고리즘적·구조적 추론 능력을 정량화하기 위해 데이터 구조를 핵심 평가 단위로 삼은 DSR‑Bench를 제안한다. 20가지 데이터 구조, 35가지 연산, 4,140개 문제를 포함하며, 계층적 난이도 설계와 자동 생성·채점 파이프라인을 제공한다. 13개 최신 모델을 실험한 결과, 가장 좋은 모델조차 복잡한 인스턴스에서 0.46점에 불과했으며, 공간적·현실적·코드 기반 보조 테스트에서도 전반적인 약점을 드러냈다.

상세 분석

DSR‑Bench는 “구조적 추론”(structural reasoning)을 데이터 구조의 기본 연산과 관계망으로 정의하고, 이를 정량적 벤치마크로 전환한다는 점에서 혁신적이다. 기존 알고리즘 벤치마크가 전체 알고리즘 흐름을 평가하거나 그래프에 국한된 반면, 본 연구는 배열, 스택·큐, 해시맵, 트리, 힙, B‑트리, 그래프, DSU 등 6개의 관계 카테고리로 데이터를 체계화한다. 각 카테고리는 선형(순서), 시간(스택·큐·우선순위큐), 연관(해시·트라이·접미사 트리), 계층(이진 탐색 트리·힙·레드‑블랙·B+트리), 네트워크(그래프·DSU), 하이브리드(블룸 필터·다이렉티드 사이클릭 워드 그래프)로 구분돼, 모델이 어느 관계 유형에서 취약한지를 세밀히 파악할 수 있다.

문제 설계는 세 단계(구성, 검사, 조작)와 단일·복합 연산을 포함한다. 복합 연산은 연속적인 삽입·삭제·검색 등을 순차적으로 제시해 다단계 추론을 요구한다. 난이도는 입력 길이(짧음 5‑10, 중간 11‑20, 길음 21‑30)로 구분돼, 길이 일반화 능력을 별도로 측정한다. 특히 “challenge” 서브셋은 하이브리드 구조와 장기 연산을 결합해 현재 최첨단 모델조차 0.46점 이하를 기록하도록 설계돼, 모델의 한계가 명확히 드러난다.

자동 생성·채점 파이프라인은 모든 데이터와 정답을 코드로 구현해, 인간·LLM 판정의 편향을 배제한다. 이는 평가 재현성을 크게 높이며, 대규모 실험을 저비용으로 수행할 수 있게 한다. 또한 프롬프트 템플릿은 구조 설명, 연산 규칙, 초기 상태, 질문 순으로 구성돼, 모호성을 최소화한다.

실험에서는 13개 모델(오픈·클로즈드, instruction‑tuned, reasoning‑oriented)을 다양한 프롬프트 전략(Zero‑Shot, Few‑Shot, Chain‑of‑Thought 등)으로 평가했다. 주요 결과는 다음과 같다. ① 선형·시간 관계에서는 비교적 높은 정확도를 보였지만, 다중 속성·다중 홉 연산에서는 급격히 성능이 떨어진다. ② 계층·네트워크 연산에서는 트리 탐색·그래프 BFS/DFS와 같은 기본 절차조차 오류가 빈번했다. ③ “spatial” 프로브에서는 고차원 배열·다차원 좌표 데이터를 다룰 때 차원 증가에 따라 성능이 급감했다. ④ “realistic” 프로브에서는 일상 언어와 결합된 구조 추출 과제가 모델을 크게 혼란시켰으며, 언어적 애매성 처리 능력이 부족했다. ⑤ “code” 프로브에서는 자체 생성 코드를 활용한 추론이 거의 효과가 없었고, 외부 인터프리터에 의존할 경우에도 비표준 혹은 복합 구조에서는 실패했다.

이러한 분석은 LLM이 현재 “코드 없이 순수 언어 추론”을 목표로 할 때, 구조적 관계를 이해하고 조작하는 능력이 제한적임을 시사한다. 특히 복합 연산과 현실적 상황에서의 구조 인식은 향후 모델 설계·훈련에서 별도 강화가 필요함을 강조한다. 논문은 데이터와 코드베이스를 공개함으로써 연구 커뮤니티가 벤치마크를 확장·보완하고, 구조적 추론을 중심으로 한 새로운 모델 아키텍처(예: 그래프‑기반 메모리, 구조‑인코더) 개발을 촉진하고자 한다.