자동 분류로 재현 가능한 요구공학 논문 찾기

초록

본 논문은 요구공학(RE) 분야 논문 중 실증적(empirical) 논문을 자동으로 식별하기 위한 분류기를 제안한다. 자연어 처리와 기계학습을 활용한 ERRC(Empirical Requirements Research Classifier) 방법을 기존 키워드 기반 베이스라인과 비교 평가했으며, IEEE RE와 ISSTA 학술대회 논문을 대상으로 교차 검증 실험을 수행했다. 결과는 ERRC가 대부분의 경우 정확도·재현율·F‑measure에서 베이스라인보다 우수함을 보여, 향후 재현 가능 연구 선별에 유용한 도구가 될 수 있음을 시사한다.

상세 분석

이 연구는 두 단계의 분류 문제를 다룬다. 첫 번째는 논문이 요구공학(RE) 분야에 속하는가를 판별하고, 두 번째는 해당 논문이 실증적(empirical) 연구인지 여부를 결정한다. 이를 위해 저자들은 IEEE Requirements Engineering(REQ)와 IEEE International Symposium on Software Testing and Analysis(ISSTA)에서 2000·2005·2015년도의 논문을 수집해 총 195편을 선정하였다. 각 논문은 ‘RE·비RE’와 ‘실증·비실증’ 네 가지 라벨 중 하나로 수작업 라벨링되었으며, 라벨링 과정은 두 명의 공동저자가 독립적으로 수행 후 의견을 조율해 신뢰성을 확보하였다.

텍스트 전처리는 PDF에서 텍스트를 추출한 뒤, 줄바꿈·특수문자 제거, 구두점 공백 치환, 불용어(stop‑words) 제거, 숫자 삭제, 어간 추출(stemming) 순으로 진행되었다. 전처리된 단어들은 빈도수 기반으로 정렬되어 특징(feature) 벡터를 구성한다.

베이스라인 방법은 최근 RE·ISSTA 학회에서 가장 빈번히 등장한 다섯 개 키워드의 등장 횟수를 사용해 단순 TF(term‑frequency) 특징을 만든다. 반면 ERRC는 논문 전체에서 추출된 모든 어간 형태를 빈도순으로 정렬하고, 상위 10개 어간을 특징으로 채택한다. 이렇게 만든 특징 행렬을 Weka 툴에 입력해 세 가지 분류 알고리즘—ZeroR, Naïve Bayes, J48(C4.5)—을 적용하였다. 모델 평가는 10·20·30·40‑fold 교차 검증을 10번 반복한 평균값을 사용했으며, 정확도(accuracy), 정밀도(precision), 재현율(recall), F‑measure를 주요 지표로 삼았다.

실험 결과, RE 논문 식별에서는 ERRC가 베이스라인보다 평균 10% 이상 높은 정확도와 재현율을 보였으며, F‑measure에서도 유의미한 향상이 관찰되었다. 실증 논문 식별에서는 경우에 따라 Naïve Bayes가 베이스라인을 약간 앞서는 경우가 있었지만, 전반적으로 J48 기반 ERRC가 2~10% 정도의 정확도 향상을 기록했다. 통계적 검증을 위해 일측 t‑검정을 수행했으며, α=0.05 기준 대부분의 지표에서 유의미한 차이를 확인했다(단, Naïve Bayes‑실증 및 J48‑RE 경우는 제외).

위협 요인으로는 데이터셋 규모와 분야 제한성을 들 수 있다. 두 학회의 논문만을 대상으로 했기 때문에 다른 분야나 최신 논문에 대한 일반화는 제한적이다. 또한 라벨링이 한 명에 의해 주도되었으나, 두 번째 저자가 검증했음에도 인간 오류 가능성은 남아 있다. 전반적으로 연구는 자동화된 텍스트 기반 분류가 RE 실증 연구 선별에 실용적임을 증명했으며, 향후 TraceLab과 같은 재현 환경에 직접 연동해 연구 재현 파이프라인을 구축하는 기반이 된다.