아크Eval: ArkTS 자동 코드 수리를 위한 최초 벤치마크와 평가 프레임워크

초록

본 논문은 HarmonyOS의 핵심 언어인 ArkTS에 특화된 자동 프로그램 수리(Automated Program Repair) 벤치마크인 ArkEval을 제안한다. 400여 개의 공식 Huawei 리포지터리에서 502개의 재현 가능한 버그를 추출하고, LLM 기반 테스트 오라클 생성·투표 메커니즘을 통해 실행 가능한 테스트를 자동으로 구축하였다. 또한, 검색 기반 생성(RAG) 파이프라인을 적용한 4개의 최신 대형 언어 모델을 평가해 ArkTS 코드 수리에서 현재 모델들의 성능 한계와 향후 연구 방향을 제시한다.

상세 분석

ArkEval은 저자들이 “디지털 디바이드”라 부르는 고리소스 언어와 저리소스 DSL(도메인 특화 언어) 사이의 격차를 메우기 위해 설계된 최초의 ArkTS 전용 APR(Automated Program Repair) 벤치마크이다. 기존의 HumanEval, MBPP 등은 주로 Python·Java·JavaScript와 같은 고리소스 언어에 초점을 맞추었으며, 테스트 오라클이 풍부한 것이 특징이다. 반면 ArkTS는 공식 Huawei 리포지터리에서 제공되는 샘플 애플리케이션이 400개에 불과하고, 대부분 회귀 테스트가 부재한다는 점에서 전통적인 벤치마크 구축 방식이 적용되기 어려웠다.

이를 해결하기 위해 논문은 네 단계 파이프라인을 제시한다. 첫 번째 단계는 “리포지터리 마이닝 및 프로파일링”으로, Huawei 공식 저장소에서 149개의 품질 높은 애플리케이션을 선정한다. 두 번째 단계인 “제약 기반 결함 선별”에서는 자동 메트릭 필터링(패치 라인 수 <300, 컴파일 오류 여부, 의존성 복잡도 등)과 수동 검증을 결합해 502개의 재현 가능한 버그를 확보한다.

특히 세 번째 단계인 “멀티‑에이전트 테스트 오라클 합성”은 ArkTS와 같이 테스트가 부족한 환경에서 핵심적인 기여이다. 저자들은 Claude, GPT‑4, DeepSeek 등 여러 LLM을 활용해 각 버그에 대한 입력·출력 테스트 케이스를 자동 생성하고, 투표 기반 합의를 통해 신뢰성을 검증한다. 이 과정에서 “LLM‑Vote Oracle Synthesis”라는 새로운 프로토콜을 도입했으며, 이는 테스트 케이스의 품질을 인간 검증 없이도 일정 수준 보장한다는 점에서 학계에 의미 있는 방법론적 혁신을 제공한다.

네 번째 단계는 “문제 서술 표준화”로, 각 버그에 대해 일관된 요구사항, 함수 시그니처, 의존 파일 구조 등을 정형화하여 검색‑증강 생성(RAG) 파이프라인이 효율적으로 작동하도록 만든다. RAG는 사전 학습된 LLM에 검색된 관련 코드 스니펫을 프롬프트에 삽입함으로써, 특히 ArkTS처럼 정적 타입과 선언형 UI 패턴이 강제되는 언어에서 컴파일 오류를 크게 감소시킨다.

평가에서는 Huawei Ascend 910B 기반 모델을 포함한 4개의 최신 LLM을 ArkEval에 적용하였다. 결과는 두 가지 주요 지표인 Compile@1(첫 번째 시도에서 컴파일 성공 여부)와 Pass@1(테스트 통과 여부)에서 모두 낮은 수치를 보이며, 특히 “논리적 성공률은 높지만 정적 타입 검사에서 실패”하는 패턴이 두드러졌다. 이는 LLM이 일반적인 JavaScript/TypeScript 코드를 잘 생성하지만, ArkTS 고유의 ‘any’ 금지, @State/@Link/@Prop 데코레이터 사용 규칙 등을 무시하는 경향을 드러낸다.

논문의 한계점으로는 (1) 테스트 오라클이 LLM에 의존한다는 점에서 인간 검증이 완전히 배제되지 않았으며, (2) 현재 평가에 사용된 모델들이 ArkTS 전용 데이터로 파인튜닝되지 않았기 때문에 성능이 실제 산업 현장에 바로 적용되기엔 부족하다는 점을 인정한다. 그러나 이러한 제한에도 불구하고 ArkEval은 저리소스 DSL에 대한 APR 연구의 출발점으로서, 향후 데이터 증강, 도메인 특화 파인튜닝, 그리고 정적 타입 검증을 포함한 멀티‑모달 평가 체계 구축에 중요한 기반을 제공한다.