코드 대비 학습으로 패치 정답성을 가려내다: ComPass

초록

**
ComPass는 코드 변환을 이용한 대비 학습과 데이터 증강을 결합해 사전 학습된 언어 모델을 강화함으로써, APR에서 생성된 패치가 실제 버그를 수정했는지 자동으로 판단한다. Defects4J 실험에서 88.35%의 정확도를 기록하며 기존 APPT 대비 크게 향상되었다.

**

상세 분석

**
본 논문은 자동 프로그램 수리(Automated Program Repair, APR)에서 가장 큰 장애물 중 하나인 ‘패치 오버피팅’ 문제를 해결하기 위한 새로운 접근법인 ComPass를 제안한다. 기존 APPT는 BERT 기반의 사전 학습 모델을 그대로 미세조정하여 패치의 정답 여부를 이진 분류했지만, 두 가지 근본적인 한계가 있었다. 첫째, 작은 코드 변형(예: 변수명 교체)에 과도하게 민감해 의미적으로 동일한 패치를 구분하지 못한다. 둘째, 라벨이 부착된 패치 데이터가 1,183개에 불과해 모델이 충분히 일반화되지 못한다는 점이다.

ComPass는 이러한 문제를 대비 학습(contrastive learning)과 데이터 증강(data augmentation)으로 동시에 해결한다. 구체적으로, 코드 변환 규칙(예: 변수명 바꾸기, 순서 바꾸기, 무의미한 코드 삽입 등)을 적용해 의미는 유지하면서 형태가 달라진 코드 스니펫을 생성한다. 이 스니펫 쌍을 ‘양성(pair)’으로, 서로 다른 의미를 갖는 코드 조각을 ‘음성(pair)’으로 설정해 InfoNCE와 같은 대비 손실 함수를 최소화한다. 이렇게 하면 인코더는 구조적 변형에는 강인하고, 의미적 차이에 민감한 임베딩 공간을 학습한다.

사전 학습 단계에서는 라벨이 없는 대규모 오픈소스 코드를 활용해 대비 학습을 수행한다. 이후 라벨이 있는 패치(정답/오버피팅) 데이터에 대해 동일한 변환 규칙을 적용해 증강된 학습 샘플을 만든 뒤, 사전 학습된 인코더와 이진 분류기를 공동으로 미세조정한다. 이 과정에서 원본 패치와 변형된 패치가 동일한 라벨을 공유하도록 강제함으로써, 라벨이 적은 상황에서도 모델이 일반화 능력을 유지한다.

실험은 Defects4J의 2,274개 실제 패치를 대상으로 진행되었으며, 정확도 88.35%, 정밀도 87.50%, 재현율 88.69%, F1 88.09%를 달성했다. 이는 기존 최첨단 APPT보다 정확도 6.33%p, 정밀도 5.29%p, 재현율 8.87%p, F1 7.05%p 상승한 수치이다. Ablation study에서는 대비 학습이 정확도에 4.11%p, 정밀도에 7.80%p 기여함을 확인했으며, 미세조정 단계의 데이터 증강도 전체 성능을 2.6%p 이상 끌어올렸다. 또한 ComPass를 CodeBERT와 같은 최신 PLM에 적용했을 때도 4.9%~15.7%p의 정확도 향상이 관찰돼 프레임워크의 범용성을 입증했다.

한편, 교차 프로젝트 예측 실험에서도 ComPass는 다른 프로젝트에서 학습된 모델을 그대로 적용했을 때도 가장 높은 성능을 유지했다. 이는 대비 학습이 코드의 언어적 특성보다 의미적 구조를 더 잘 포착한다는 점을 시사한다. 그러나 현재는 BERT 기반 인코더에 한정했으며, 대규모 코드 생성 모델이나 그래프 기반 모델과의 결합에 대한 탐색은 향후 과제로 남는다.

요약하면, ComPass는 (1) 의미 보존 변환을 통한 대비 사전 학습, (2) 라벨이 적은 상황에서도 효과적인 데이터 증강, (3) 인코더와 분류기의 공동 미세조정을 통해 APR 패치의 오버피팅을 효과적으로 탐지한다는 점에서 기존 접근법을 크게 능가한다.

**