대규모 언어 모델의 장문 코드 질문 응답에서 견고성 및 추론 충실도

초록

본 논문은 장문 코드 컨텍스트에서 질문‑답변을 수행하는 최신 LLM들의 견고성을 평가한다. LongCodeBench 파이썬 데이터셋을 확장해 COBOL·Java 질문‑답변 세트를 추가하고, (i) 선택지 순서 섞기, (ii) 선택지 제거(open‑ended) 및 (iii) 관련·무관 코드 조각을 섞은 ‘needle‑in‑a‑haystack’ 실험을 수행한다. 다양한 모델을 32k‑512k 토큰 컨텍스트에서 테스트한 결과, 선택지 존재 여부에 따라 정확도가 15‑35%p 급감하고, 무관 코드가 삽입되면 성능이 크게 저하되는 등 현재 LLM은 장문 코드 추론에서 인식‑생성 격차와 위치 편향에 취약함을 확인한다.

상세 분석

이 연구는 장문 코드 이해라는 실용적 문제에 초점을 맞추면서, 기존 벤치마크가 간과해 온 두 가지 핵심 변수를 체계적으로 탐색한다. 첫 번째 변수는 ‘답변 형식’이다. 다중 선택지 형태에서는 모델이 질문‑정답 텍스트 간의 표면적 일치를 활용해 정답을 맞추는 경향이 있다. 이를 검증하기 위해 선택지 순서를 무작위로 섞었을 때 정확도가 크게 변동하면, 모델이 위치나 어휘적 힌트에 의존하고 있음을 의미한다. 실험 결과, 대부분의 모델이 옵션 섞기에 민감했으며, 특히 파라미터가 큰 Claude‑Sonnet·Llama‑3.1‑405B는 10‑15%p 정도 성능 저하를 보였다.

두 번째 변수는 ‘옵션 유무’이다. 선택지를 제거하고 자유형 답변을 요구하면, 모델은 단순 매칭이 아니라 코드 컨텍스트에서 직접 답을 생성해야 한다. 여기서 나타난 ‘인식‑생성 격차’는 대부분의 모델에서 15‑35%p에 달한다. Gemini‑2.5‑Flash와 같은 일부 모델은 상대적으로 작은 격차(≈10%p)를 보였지만, 전체적으로는 선택지 기반 평가가 과대평가된 결과를 초래한다는 점을 강조한다.

세 번째 변수는 ‘컨텍스트 내 무관 정보(디스트랙터)’이다. ‘needle‑in‑a‑haystack’ 실험에서는 관련 코드와 무관 코드 조각을 혼합해 정답이 포함된 위치를 앞·뒤·중간 등 다양한 깊이에 배치했다. 결과는 두드러진 위치 편향을 보여준다. 대부분의 모델은 최신 토큰(최근 위치)에 더 높은 가중치를 두어, 초기(앞쪽) 컨텍스트에 존재하는 정답을 놓치는 경우가 빈번했다. 특히 COBOL 데이터셋에서 이러한 현상이 두드러졌는데, 이는 레거시 언어의 구문·구조적 특성이 모델의 토큰‑레벨 어텐션 메커니즘과 잘 맞지 않기 때문이다.

모델별 성능을 살펴보면, Gemini‑2.5‑Pro·Flash, GPT‑4o, Claude‑4.5‑Sonnet 등 최신 멀티모달·대형 모델이 전체적으로 높은 정확도를 기록했지만, 컨텍스트 길이가 128k를 초과하거나 옵션이 없을 때 급격히 하락한다. 특히 Mistral‑Small‑24B와 같은 중소형 모델은 옵션이 있을 때는 70%p 이상이지만, 옵션이 없을 때는 45%p 이하로 떨어진다. 이는 파라미터 규모와 훈련 데이터 다양성이 ‘생성 능력’에 직접적인 영향을 미친다는 점을 시사한다.

요약하면, 장문 코드 QA에서 현재 LLM은 (1) 표면적 선택지 의존, (2) 자유형 답변 생성 능력 부족, (3) 무관 코드에 대한 취약성, (4) 위치 편향이라는 네 가지 주요 약점을 가진다. 이러한 약점은 실제 소프트웨어 개발 현장에서 코드베이스가 수천 라인에 달하고, 질문 형식이 명확히 정의되지 않은 상황에서 심각한 오류 원인이 될 수 있다. 논문은 이러한 한계를 보완하기 위해 (a) 멀티턴·리트리벌 기반 파이프라인, (b) 언어별 특화 프롬프트 설계, (c) 디스트랙터에 강인한 어텐션 메커니즘 도입 등을 향후 연구 과제로 제시한다.