텍스트 유사성을 활용한 결함 위치 파악

초록

본 논문은 결함 보고서와 소스 코드에 포함된 자연어 정보를 이용해 파일 수준의 결함 위치를 자동으로 추정하는 언어 독립적 기법을 제안한다. 보고서와 코드를 구조화된 문서로 변환한 뒤, 문서 간 상호 관계를 반영한 유사도 측정으로 관련 파일을 순위 매긴다. 5,345개의 실제 결함(총 6.5 MLOC) 실험에서 기존 경량 기법 대비 91 % 이상 검사 파일 수를 감소시켰으며, 최신 도구와도 경쟁력을 보인다.

상세 분석

이 연구는 소프트웨어 유지보수 비용의 핵심인 결함 위치 파악을, 전통적인 동적 분석이나 테스트 기반 접근법이 아니라 정적 텍스트 분석에 기반한 새로운 패러다임으로 접근한다. 핵심 아이디어는 결함 보고서와 소스 코드 모두가 풍부한 자연어(주석, 식별자, 로그 메시지 등)를 포함한다는 점이며, 이를 ‘구조화된 문서’ 형태로 변환한다는 점이다. 구체적으로, 보고서는 제목, 설명, 재현 단계 등으로 구분하고, 소스 파일은 파일명, 클래스·메서드 선언, 주석, 문자열 리터럴 등을 별도 필드로 분리한다. 이렇게 분할된 필드들은 각각 TF‑IDF 가중치를 적용해 벡터화하고, 필드 간 가중치 매트릭스를 통해 상호 중요도를 조정한다. 예를 들어, 보고서의 ‘키워드’ 필드와 코드의 ‘주석’ 필드 사이의 가중치를 높게 설정함으로써 의미적 일치가 강조된다.

유사도 계산은 코사인 유사도를 기본으로 하되, 필드 가중치와 문서 간 관계(예: 동일 모듈 내 파일들 간의 연관성)를 반영한 복합 점수를 산출한다. 이 점수는 파일별로 정렬되어, 결함과 가장 높은 텍스트적 연관성을 가진 파일이 상위에 위치한다. 중요한 점은 이 과정이 프로그래밍 언어에 종속되지 않는다는 것이다. 식별자와 주석은 언어마다 다소 차이가 있더라도, 토큰화와 형태소 분석만으로 일반화가 가능하도록 설계되었다.

실험에서는 6개의 오픈소스 프로젝트(총 6.5 MLOC)에서 5,345개의 실제 결함 데이터를 활용하였다. 평가 지표는 ‘Top‑k 파일 검사율’과 ‘Mean Reciprocal Rank(MRR)’이며, 기존 경량 기법(예: 단순 키워드 매칭, 파일명 기반 검색)과 최신 머신러닝 기반 도구와 비교하였다. 결과는 Top‑5 파일 내에 결함을 포함하는 비율이 91 % 이상 향상되었고, 평균 검사 파일 수는 기존 대비 7배 이상 감소했다. 또한, 텍스트와 표면적 특징(식별자 길이, 주석 비율 등)의 기여도를 정량화한 분석을 통해, 주석과 식별자 토큰이 가장 큰 영향을 미치는 것으로 나타났다.

이 접근법의 강점은 (1) 테스트 케이스가 필요 없으며, (2) 언어 독립적인 설계로 다양한 프로젝트에 바로 적용 가능하고, (3) 구현이 비교적 간단해 실무에 빠르게 도입할 수 있다는 점이다. 반면, 한계로는 (가) 보고서 품질에 크게 의존한다는 점, (나) 코드베이스가 매우 크거나 텍스트가 부족한 경우 유사도 신호가 약해질 수 있다는 점, (다) 동적 실행 정보가 전혀 반영되지 않아 런타임 결함에 대한 감도가 낮다는 점을 들 수 있다. 향후 연구에서는 보고서 자동 요약, 코드 토픽 모델링, 그리고 동적 프로파일링 정보를 결합해 하이브리드 모델을 구축하는 방향이 제시된다.