진화계산 재현성 평가 인간·LLM 기반 사례 연구

초록

본 논문은 GECCO 학회 ECOM 트랙에 발표된 2016‑2025년 10년간 논문 168편을 대상으로 재현성 체크리스트를 적용해 인간 평가와 LLM 기반 자동 평가(RECAP)를 비교한다. 평균 재현성 점수는 0.62이며, 36.9%가 부록·코드 등 추가 자료를 제공한다. 자동 평가와 인간 평가 간의 Cohen’s κ는 0.67로 실질적인 일치도를 보인다. 결과는 진화계산 분야의 재현성 보고가 여전히 부족함을 드러내며, 자동화 도구가 대규모 모니터링에 유용함을 시사한다.

상세 분석

이 연구는 진화계산(EC) 분야에서 재현성 문제가 지속적으로 제기되는 상황을 정량적으로 파악하고자, ACM 재현성 표준을 기반으로 5가지 차원(방법론 명료성, 실험 설정, 결과 보고, 아티팩트 평가, 논문 메타데이터)으로 구성된 체크리스트를 설계하였다. 168편의 ECOM 논문을 수집하고, 저자와 직접적인 이해관계가 있는 논문은 제외함으로써 편향을 최소화하였다. 인간 평가자는 논문 본문, 부록, 공개된 코드·데이터 저장소, GECCO 웹사이트 등을 검토하고, 코드 실행 가능성을 2시간 이내에 테스트한다. 이 과정에서 외부 문서 검색은 허용하지만 LLM 활용은 금지하였다.

자동 평가 파이프라인인 RECAP는 GPT‑5 nano 모델을 사용해 전체 논문 텍스트를 한 번에 입력하고, 체크리스트 각 항목에 대해 시스템 프롬프트와 JSON 스키마를 제공한다. 코드·데이터 저장소 URL을 추출하면 Docker 샌드박스에서 5분 이내 실행을 시도하고, 성공 여부를 Y/N으로 기록한다. 이렇게 얻은 자동 평가 결과와 인간 평가 결과를 비교한 결과, Cohen’s κ가 0.67로 ‘상당히 좋은’ 일치도를 보였다. 이는 LLM이 재현성 신호를 탐지하는 데 충분히 신뢰할 수 있음을 의미한다.

재현성 점수 평균 0.62는 아직 개선 여지가 크다는 것을 나타낸다. 특히 하드웨어·머신 설명, 파라미터 튜닝 예산, 코드 문서화 등 핵심 항목에서 누락이 빈번했다. 부록·코드 제공 비율이 36.9%에 머물러, 절반 이상의 논문이 실험 재현에 필요한 실질적 자료를 공개하지 않은 것으로 드러났다. 연도별 추세를 살펴보면 2020년대 초반부터 점진적인 개선이 보이지만, 여전히 많은 논문이 ‘NA’ 혹은 ‘N’으로 평가된다.

이 논문은 두 가지 중요한 시사점을 제공한다. 첫째, 재현성 체크리스트와 인간 평가 프로토콜을 통해 EC 분야의 현재 상태를 체계적으로 진단할 수 있다. 둘째, RECAP과 같은 LLM 기반 자동화 도구는 대규모 논문 집합에 대해 빠르고 일관된 평가를 가능하게 하여, 학술 행사나 저널이 재현성 기준을 사전에 검증하는 데 활용될 수 있다. 다만 자동화 과정에서 LLM의 오답(허위 정보) 위험을 최소화하기 위해 프롬프트 설계와 실행 제한을 엄격히 적용한 점이 주목할 만하다. 향후 연구에서는 자동 평가 정확도를 높이기 위한 다중 모델 앙상블, 코드 실행 환경 자동 구성, 그리고 재현성 배지와 연계한 인센티브 메커니즘을 탐색할 필요가 있다.