다중버전 실험 평가(MVEE)로 신뢰성 확보

본 논문은 데이터베이스 시스템 연구에서 새로운 알고리즘이나 인덱스 구조를 기존 베이스라인과 비교 평가할 때, 컴파일러가 자동으로 생성하는 어셈블리 코드가 동일하지 않을 수 있다는 중요한 문제를 제기한다. 기존 작업 흐름은 “소스 코드는 변하지 않으니, 베이스라인은 한 번만 컴파일된 동일 버전을 사용한다”는 전제 하에 진행된다. 그러나 저자들은 gcc와 같은 범용 컴파일러가 전역 최적화, 인라인, 레지스터 할당, 코드 재배치 등 복합적인 히스토리 의존성을 가지고 있어, 소스 코드가 그대로라도 빌드마다 서로 다른 어셈블리 구현이 생성될 수 있음을 실험적으로 입증한다. 이러한 현상은 두 가지 위험을 낳는다. 첫 번째는 서로 다른 빌드에서 얻은 결과를 혼합해 그래프에 표시함으로써, 베이스라인의 최악 버전만을 기준으로 새로운 메서드가 우수하다고 잘못 판단하게 된다. 두 번째는 단일 빌드만을 선택해 사용함으로써, 실제로는 더 나은 베이스라인 버전이 존재함에도 불구하고 그 버전을 무시하고 잘못된 결론을 내리게 된다. 두 경우 모두 연구 결과의 신뢰성을 크게 훼손한다. 이를 해결하기 위해 저자들은 “다중버전 실험 평가(Multi‑Version Experimental Evaluation, MVEE)”라는 프레임워크를 설계·구현한다. MVEE는 (1) 개발자가 관심 있는 코드 섹션을 마크하고, (2) 매 빌드 후 어셈블리 파일(.s)을 자동으로 수집·저장하며, (3) truediff 기반 구조적 차이 분석을 통해 두 어셈블리 버전 간의 등가성을 판단한다. 등가성은 (i) 명령어 집합 동일, (ii) 피연산자(레지스터·메모리 주소·즉시값) 동일, (iii) 제어 흐름 동일이라는 세 가지 조건으로 정의된다. 이 조건을 위반하면 “빌드 이상(build anomaly)”으로 간주하고, 해당 메서드에 새로운 버전 노드를 생성한다. MVEE는 VSCode 플러그인과 백엔드 코어(asmDiff)로 구성된다. 플러그인은 사용자가 “컴파일·실행”을 요청하면 자동으로 gcc를 호출해 바이너리와 어셈블리 파일을 생성하고, 이를 코어에 전달한다. 코어는 어셈블리 파일을 파싱해 트리 형태의 중간 표현을 만든 뒤, fall‑through 그룹을 추출해 제어 흐름을 보존한다. 이후 truediff 알고리즘을 확장해 두 트리를 비교하고, 삽입·삭제·피연산자 변경·라벨 변경·제어 흐름 변형 등을 포함하는 edit script를 만든다. 이 스크립트를 기반으로 등가성 위반 여부를 판단하고, 위반이 발견되면 버전 그래프에 분기 노드를 추가한다. 버전 그래프는 Git‑style 시각화로 IDE에 실시간 표시되며, 각 노드에는 해당 버전의 실험 결과가 연결된다. 사용자는 CodeLens를 통해 이상이 발생한 소스 라인에 바로 접근하고, 하이라이트된 어셈블리 파일을 열어 차이점을 시각적으로 확인할 수 있다. MVEE는 “현재 고려해야 할 모든 버전”을 그래프 탐색으로 자동 추출하고, 이를 기반으로 플롯을 재생성함으로써 완전하고 정확한 성능 비교를 제공한다. 실험에서는 기존 연구