시각구조 기반 자동버그수정 프레임워크 SVRepair

초록

SVRepair는 시각적 버그 보고서(스크린샷, 흐름도 등)를 그래프 형태의 구조화된 시각 표현(SSG)으로 변환하고, 이를 기반으로 LLM 코드 에이전트가 정확히 결함을 위치·수정하도록 설계된 멀티모달 APR 시스템이다. 시각‑텍스트 간 의미 격차를 메우기 위해 비전‑언어 모델을 미세조정하고, 반복적인 시각 영역 분할과 피드백 루프를 도입해 잡음과 불필요한 정보를 억제한다. SWE‑Bench M, MMCode, CodeVision 등 세 벤치마크에서 각각 36.47 %, 38.02 %, 95.12 %의 정확도를 기록하며 기존 단일모달 APR보다 현저히 우수한 성능을 보인다.

상세 분석

SVRepair는 기존 LLM 기반 자동 프로그램 수리(APR) 연구가 텍스트 입력에만 의존해 시각적 버그 정보를 활용하지 못한다는 근본적인 한계를 정확히 짚어낸다. 논문은 두 가지 핵심 문제—시각 아티팩트의 컨텍스트 손실과 과다한 시각 정보에 의한 노이즈—를 제시하고, 이를 해결하기 위한 구조화된 시각 표현(Structured Visual Representation, SVR)과 시각‑아티팩트 세분화 전략을 제안한다.

첫 번째 기여는 SVR 모델이다. 저자는 비전‑언어 모델을 기반으로 다양한 형태의 시각 아티팩트(HTML 렌더링 스크린샷, 제어 흐름 그래프 등)를 ‘시맨틱 씬 그래프(Semantic Scene Graph, SSG)’라는 텍스트 기반 그래프 구조로 변환한다. SSG는 노드가 GUI 요소 혹은 코드 블록을, 엣지가 계층·제어·데이터 흐름 등 관계를 명시한다. 이를 Mermaid 문법으로 직렬화함으로써 downstream LLM이 그래프 정보를 자연어와 동일하게 처리하도록 설계했다. 데이터 수집 단계에서는 WebSight와 고평가 GitHub 레포지토리에서 추출한 2백만 개 이상의 이미지‑코드 쌍을 활용해 대규모 사전 학습·미세조정을 수행했으며, 자동 회귀 손실 함수를 통해 이미지 → SSG 매핑 정확도를 높였다.

두 번째 기여는 SVRepair 에이전트이다. 에이전트는 Docker 기반 격리 환경에서 코드베이스에 접근하고, grep·glob·read/write·bash 등 전용 도구를 이용해 파일 탐색·코드 읽기·패치 적용·테스트 실행을 자동화한다. SSG를 프롬프트에 포함시켜 LLM이 “FromName 필드가 Origin 컨테이너 안에 존재한다”는 구조적 힌트를 활용하도록 함으로써 기존 텍스트‑기반 APR보다 훨씬 정밀한 결함 위치 추정이 가능해졌다.

세 번째 핵심은 시각 아티팩트 세분화(iterative visual‑artifact segmentation)이다. 초기 SSG가 너무 거대하거나 잡음이 많을 경우, 에이전트는 패치 검증 단계에서 발생한 오류 로그를 기반으로 ‘버그 중심 영역’을 재정의한다. 이 영역을 다시 이미지로 추출해 SVR에 입력하면 보다 세밀한 SSG가 생성되고, 이후 라운드에서 더 정확한 로컬라이제이션과 패치가 이루어진다. 이 피드백 루프는 특히 UI 복잡도가 높은 경우에 효과적으로 노이즈를 억제하고, LLM의 환각(hallucination) 위험을 크게 낮춘다.

실험 결과는 설득력 있다. SWE‑Bench M(리포트 기반 함수 수준 버그)에서 36.47 %의 정확도를 달성했으며, 이는 기존 LLM‑only APR 모델보다 7~10 %p 상승한 수치다. MMCode(멀티모달 코드 생성)와 CodeVision(시각‑코드 정합성 평가)에서도 각각 38.02 %와 95.12 %라는 높은 성공률을 기록했다. 특히 CodeVision에서 95 %에 육박하는 성능은 시각‑코드 정합성을 정확히 파악한 SVR의 효과를 입증한다.

한계점으로는 (1) SSG 생성에 필요한 대규모 라벨링 데이터가 아직 제한적이며, (2) 현재는 GUI와 제어 흐름 그래프에 초점을 맞추어 다른 도메인(예: 데이터 시각화, 과학 플롯)으로의 일반화가 검증되지 않았다. 또한, 이미지‑텍스트 변환 과정에서 복잡한 애니메이션이나 동적 UI 상태를 포착하기 어려운 점도 있다. 향후 연구에서는 멀티프레임 비디오 입력을 그래프 시퀀스로 확장하거나, 라벨링 비용을 줄이기 위한 자기지도 학습 기법을 도입할 여지가 있다.

전반적으로 SVRepair는 시각 정보를 구조화하고, 이를 LLM 기반 코드 에이전트와 긴밀히 결합함으로써 멀티모달 APR 분야에 새로운 패러다임을 제시한다. 시각‑코드 정합성을 그래프 형태로 명시화한 접근은 향후 버그 자동 진단·수정 시스템뿐 아니라, UI 자동 테스트, 리버스 엔지니어링 등 다양한 소프트웨어 엔지니어링 작업에 확장 가능성이 크다.