테스트 코드만으로는 플레이키 테스트를 구분하기 어렵다: LLM 기반 실증 연구

초록

**
본 연구는 사전 학습된 대형 언어 모델(LLM) 3종을 테스트 코드만을 입력으로 플레이키(불안정) 테스트를 분류하도록 평가한다. 두 공개 벤치마크(IDoFT, FlakeBench)와 3가지 프롬프트(Zero‑shot, Zero‑shot + CoT, Few‑shot + CoT)를 사용했으며, 결과는 무작위 추측 수준에 불과했다. 인간이 코드만으로 플레이키 여부를 판단하기도 어렵다는 정성적 조사와 결합해, 추가 컨텍스트가 필요함을 강조한다.

**

상세 분석

**
이 논문은 기존 플레이키 테스트 분류 연구가 테스트 코드의 어휘적 특징에 과도하게 의존해 일반화에 실패한다는 점을 출발점으로 삼는다. 이를 보완하기 위해 사전 학습된 LLM을 ‘제로샷’·‘코드‑오브‑생각(Chain‑of‑Thought, CoT)’·‘Few‑shot CoT’ 세 가지 프롬프트 방식으로 활용한다. 사용된 모델은 (1) GPT‑4o, (2) 오픈소스 GPT‑OSS‑120b, (3) Qwen3‑Coder‑480b 로, 모두 파라미터 튜닝 없이 그대로 적용하였다. 실험은 두 데이터셋, IDoFT(3813개 샘플, 플레이키 비율 85 %)와 FlakeBench(8574개 샘플, 플레이키 비율 3 %)에서 수행되었으며, 평가 지표는 가중 정밀도·재현율·F1, 그리고 클래스 불균형을 보정하는 MCC를 포함한다.

프롬프트 설계는 ‘Task description’만을 포함한 순수 제로샷, 여기에 CoT를 추가한 Zero‑CoT, 마지막으로 6개의 라벨링된 샘플(플레이키/비플레이키 각각 3개)과 그에 대한 중간 추론 과정을 제공하는 Few‑CoT 로 구성된다. 각 모델·프롬프트 조합에 대해 0 °C 온도(greedy decoding)로 실행했으며, 동일 설정을 여러 번 반복해 비결정성을 정량화하기 위해 정규화된 해밍 거리를 측정했다.

결과는 전반적으로 기대 이하였다. 가장 좋은 성능을 보인 조합조차도 무작위(50 % 정확도)보다 약간 높은 수준에 머물렀으며, MCC 값도 0에 근접했다. 특히 플레이트가 심하게 불균형한 FlakeBench에서는 거의 무작위와 구분되지 않았다. 모델 간 차이는 크지 않았으며, GPT‑4o가 약간 앞섰지만 차이는 통계적으로 유의미하지 않았다. 비결정성 측정에서도 온도 0 설정임에도 불구하고 반복 실행 시 평균 해밍 거리가 0.07~0.12 수준으로, 동일 입력에 대해 일관된 출력을 보장하지 못한다는 점이 드러났다.

인간 평가 파트에서는 저자들이 50개의 샘플을 직접 검토했으며, 테스트 코드만으로는 플레이키 원인을 파악하기 어려운 경우가 다수였음을 보고한다. 예를 들어, 외부 유틸리티 함수 호출, 비동기 타이밍, 환경 의존성(시간대, 파일 시스템 상태) 등은 코드 내부에 명시되지 않아 인간도 판단에 한계가 있었다. 이는 LLM이 현재 코드 수준의 정보를 넘어선 실행 컨텍스트(예: 테스트 실행 로그, 의존 라이브러리 버전, 최근 커밋 히스토리 등)를 활용해야 함을 시사한다.

논문은 이러한 결과를 바탕으로 향후 연구 방향을 제시한다. 첫째, Retrieval‑Augmented Generation(RAG)이나 에이전트 기반 AI를 도입해 외부 정보를 동적으로 검색·통합하는 방법; 둘째, 플레이트 원인 유형별 라벨링을 정교화해 모델이 보다 구체적인 패턴을 학습하도록 하는 데이터셋 개선; 셋째, 비결정성을 최소화하기 위한 디코딩 전략(예: 온도 0 + 다중 샘플 평균) 연구 등이 있다. 전체적으로, “테스트 코드만으로 플레이키 테스트를 구분한다”는 가설이 현재 LLM 수준에서는 실현 불가능함을 입증하고, 추가 컨텍스트와 보다 정교한 프롬프트 설계가 필수임을 강조한다.

**