스펙과 현실이 만나는 지점: 이더리움 API 불일치 자동 탐지

초록

APIDiffer는 이더리움 공식 API 명세를 기반으로 테스트 케이스를 자동 생성하고, 대형 언어 모델을 활용해 실제 버그와 허용된 변형을 구분하는 차별적 테스트 프레임워크이다. 11개의 주요 클라이언트를 대상으로 72개의 버그를 발견했으며, 기존 도구 대비 코드 커버리지는 최대 89.67% 향상, 오탐률은 37.38% 감소시켰다.

상세 분석

본 논문은 이더리움 생태계에서 클라이언트 API가 유일한 사용자‑블록체인 인터페이스임을 강조하고, 현재 존재하는 구현 불일치가 재정 손실·사용자 신뢰 저하·네트워크 안정성 위협으로 이어질 수 있음을 실증한다. 기존 테스트 도구(EtherDiff, rpctestgen)는 DSL 기반 혹은 수동 테스트 케이스에 의존해 전문 지식과 인력이 많이 소요되며, 급변하는 프로토콜에 대응하기 어렵다. APIDiffer는 두 가지 핵심 혁신을 제시한다. 첫째, 공식 JSON‑RPC 및 Beacon API 명세를 파싱해 입력 파라미터와 제약조건을 추출하고, 실시간 체인 데이터를 활용해 “유효한 주소·블록·트랜잭션”을 포함한 합법·비합법 요청을 자동 생성한다. 이는 테스트가 실제 온‑체인 상태와 연동되어 의미 있는 시나리오를 제공한다는 점에서 기존 무작위·템플릿 기반 접근법을 뛰어넘는다. 둘째, LLM(대형 언어 모델)과 명세‑기반 휴리스틱을 결합해 응답 차이를 자동 분석한다. 모델은 “허용된 변형”(예: 클라이언트별 포맷 차이, 비동기 응답 지연)과 실제 버그(예: 값 오차, 누락된 필드)를 구분하고, 인간 검증 비용을 크게 절감한다. 평가에서는 11개의 EL·CL 클라이언트를 모두 포함해 72건의 버그를 발견했으며, 그 중 90.28%가 개발자에 의해 확인·수정되었다. 코드 커버리지는 기존 도구 대비 평균 65%에서 최대 89.67%까지 상승했으며, 오탐률은 37.38% 감소했다. 특히, 공식 명세 자체에 존재하던 오류까지 찾아내어 커뮤니티에 중요한 피드백을 제공했다. 논문은 또한 오픈소스 공개·CI 파이프라인 연동 방안을 제시해 지속적인 API 검증 생태계 구축을 목표로 한다. 이러한 접근은 블록체인뿐 아니라 다른 분산 시스템에서도 명세‑구현 간 격차를 자동화된 차별적 테스트로 메우는 모델로 활용될 가능성을 시사한다.