LLM 기반 소프트웨어 엔지니어링 에이전트의 테스트 생성 가치 재고

초록

본 논문은 SWE‑bench Verified 환경에서 6개 최신 LLM을 활용한 코드 에이전트들의 테스트 작성 행동을 정량·정성 분석한다. 테스트를 많이 작성하더라도 해결률에 큰 차이가 없으며, 실제 피드백은 값 출력(print) 위주임을 밝혀 테스트 작성이 현재 자동화된 버그 수정 흐름에서 제한적인 효용만을 제공한다는 결론을 제시한다.

상세 분석

본 연구는 세 가지 핵심 연구 질문(RQ1‑RQ3)에 기반해 LLM 기반 코드 에이전트의 테스트 작성 행동을 다각도로 파악한다. RQ1에서는 에이전트가 테스트 파일을 생성하는 빈도, 생성 시점, 실행 강도를 측정했으며, 모델마다 테스트 작성 빈도가 크게 다름을 확인했다. 특히 고성능 모델인 claude‑opus‑4.5는 83 %의 작업에서 최소 하나의 테스트를 생성했지만, gpt‑5.2는 0.6 %에 불과함에도 불구하고 71.8 %의 해결률을 기록해 테스트 작성이 성공률과 직접적인 인과관계가 없음을 시사한다. 해결된 트래젝터리와 해결되지 않은 트래젝터리 간에도 테스트 작성 비율 차이는 미미했으며, 오히려 실패한 트래젝터리에서 테스트 작성이 작업 전반에 걸쳐 더 고르게 분포하고 실행 횟수가 많아 불필요한 API 호출과 토큰 소모가 증가하는 경향을 보였다.

RQ2에서는 생성된 테스트의 내용적 특성을 분석했다. 테스트 실행 시 에이전트가 출력하는 값은 assert 기반 검증보다 압도적으로 많았으며, 실제 assert 문은 로컬 속성 검증(예: 변수 타입, 값 존재 여부)과 정확값 일치 검증에 국한되었다. 범위·관계 검증(예: a < b ≤ c)과 같은 복합적 어설션은 드물었으며, 이는 에이전트가 복잡한 사양을 자동으로 추론·검증하기보다는 단순히 “값을 보여주는” 방식에 의존한다는 점을 보여준다.

RQ3에서는 프롬프트를 조작해 테스트 작성을 의도적으로 늘리거나 억제하는 실험을 수행했다. 테스트 작성을 장려한 변형에서는 전체 해결률이 평균 2 % 정도 상승했지만, API 호출 수와 토큰 사용량이 12 % 이상 증가했다. 반대로 테스트 작성을 억제한 변형에서는 해결률이 평균 3 % 정도 감소했지만, 비용 절감 효과는 15 % 이상으로 나타났다. 즉, 테스트 작성량과 성공률 사이의 상관관계는 약하고, 비용 효율성 측면에서는 테스트 작성을 최소화하는 것이 더 유리함을 확인했다.

전체적으로 본 연구는 현재 LLM 기반 코드 에이전트가 “테스트를 작성한다”는 행동이 모델 고유의 문제 해결 전략이라기보다, 인간 개발자의 관행을 모방하는 부수적 현상에 가깝다는 점을 강조한다. 테스트 작성이 실제 버그 탐지·수정에 기여하는 정도가 제한적이므로, 향후 연구에서는 보다 효율적인 피드백 메커니즘(예: 정적 분석 결과 활용, 동적 시그널 기반 어설션 자동 생성)이나 테스트 비용을 최소화하면서도 높은 신뢰성을 보장할 수 있는 설계가 필요하다.