LLM 테스트 검증을 위한 의미 엔트로피 기반 자동화 프레임워크 VALTEST

초록

본 논문은 대형 언어 모델(LLM)이 자동 생성한 테스트 케이스의 유효성을 판단하기 위해 의미 엔트로피를 활용한 VALTEST 프레임워크를 제안한다. 테스트 입력·출력 토큰의 의미적 불확실성을 정량화하고, 이를 특징으로 머신러닝 모델을 학습시켜 유효·무효 테스트를 구분한다. 실험 결과, 테스트 유효성률을 최대 29% 향상시키고, 코드 생성 에이전트의 pass@1 성능을 7~11% 상승시켰다.

상세 분석

VALTEST는 LLM 기반 코드 생성 파이프라인에서 발생하는 ‘테스트 할루시네이션’ 문제를 해결하기 위해 의미 엔트로피라는 새로운 지표를 도입한다. 기존의 토큰 레벨 엔트로피는 단순히 확률 분포의 분산을 측정하지만, 의미 엔트로피는 각 토큰이 전달하는 의미적 다양성을 평가한다. 논문은 먼저 LLM이 생성한 테스트 케이스를 AST 파싱을 통해 구문 오류를 제거하고, 각 토큰에 대한 상위 5개 후보와 그 확률을 수집한다. 이후 입력 토큰과 기대 출력 토큰 각각에 대해 의미 엔트로피를 계산하고, 평균, 최대, 표준편차 등 통계적 특징을 추출한다. 이러한 특징들을 라벨링된 데이터(ground‑truth 코드에 대한 실행 결과로 유효/무효 판정)와 함께 k‑fold 앙상블 모델에 학습시켜, 새로운 테스트 케이스가 일정 임계값 이하의 엔트로피를 보이면 ‘유효’, 그 이상이면 ‘무효’로 분류한다.

핵심 인사이트는 다음과 같다. 첫째, 무효 테스트는 입력 토큰이나 기대 출력 토큰 중 하나 이상에서 의미 엔트로피가 현저히 높게 나타난다. 이는 LLM이 해당 부분에 대해 불확실성을 느끼고, 추측에 기반한 잘못된 어설션을 생성한다는 가설을 뒷받침한다. 둘째, 의미 엔트로피 기반 특징은 기존의 단순 토큰 엔트로피나 길이, 문법 오류와 같은 전통적 특징보다 무효 테스트 식별에 더 높은 정밀도와 재현율을 제공한다. 셋째, VALTEST를 코드 생성 에이전트(Reflection, LA‑TS)에 통합했을 때, 테스트 스위트의 유효성 비율이 8%에서 29%로 상승하고, 이에 따라 에이전트가 생성하는 코드의 품질이 크게 개선된다. 특히 pass@1 점수가 7%~11% 상승한 것은, 무효 테스트가 피드백 루프에서 발생시키는 오탐·누락을 효과적으로 차단했기 때문이다.

마지막으로, 논문은 VALTEST가 Python 클래스 기반 유닛 테스트와 단일 라인 어설션 모두를 지원하도록 설계되었으며, 공개된 데이터와 코드베이스를 통해 재현 가능성을 확보했다. 향후 연구에서는 의미 엔트로피를 다른 도메인(예: API 호출 검증, 데이터 파이프라인 테스트)에도 확장하고, LLM 자체의 엔트로피를 실시간으로 모니터링하여 테스트 생성 단계에서 사전 차단하는 메커니즘을 탐색할 여지가 있다.