반자동 요구사항에서 테스트 모델 자동 생성

초록

본 논문은 요구사항 문서 내에 존재하는 “의사코드” 형태의 반구조화된 문장을 머신러닝으로 자동 탐지하고, 이를 규칙 기반 변환기로 Cause‑Effect‑Graph(CEG) 모델로 전환하는 방법을 제안한다. 11개의 실제 산업 문서를 활용한 실험에서 라인 단위 탐지 정확도와 CEG 변환 정확도를 검증했으며, 전체 테스트 모델 작성 시간을 86 % 절감하면서 품질 저하가 없음을 입증하였다.

상세 분석

이 연구는 모델 기반 테스트(MBT) 분야에서 가장 큰 병목 중 하나인 요구사항‑테스트 모델 매핑 과정을 자동화하려는 시도이다. 기존 연구는 자연어(NL) 요구사항을 직접 파싱하거나, UML·State‑Diagram 등 형식화된 모델로 변환하는 데 초점을 맞추었지만, NL의 비구조적 특성 때문에 실용적인 자동화에 한계가 있었다. 저자들은 실제 산업 파트너(Allianz Deutschland)의 요구사항 문서를 분석한 결과, 전체 라인 중 평균 14 %가 “pseudo‑code”와 유사한 구조를 가지고 있음을 발견하였다. 이러한 반구조화된 라인은 IF, THEN, ELSE와 같은 논리 연산자를 명시적으로 사용하고, 변수명은 대문자로 표기되며, 들여쓰기와 특수문자 사용이 두드러지는 특징을 가진다.

논문은 두 가지 핵심 과제(RC1, RC2)를 정의한다. 첫 번째는 라인 단위로 반구조화된 요구사항을 자동 탐지하는 것이고, 두 번째는 탐지된 라인을 CEG 형태의 테스트 모델로 변환하는 것이다. 이를 위해 저자들은 4가지 특징(특수문자 수, 단어 수, 들여쓰기 수준, 대문자 비율)을 추출하여 벡터화하고, 지도학습 기반 이진 분류기를 설계하였다. 데이터 불균형(긍정 샘플 13.8 %)을 해결하기 위해 Random Over‑Sampling, SMOTE 등 다양한 리샘플링 기법을 적용하고, 최종적으로 Random Forest와 XGBoost 조합이 가장 높은 F1‑score(0.92)를 기록했다.

변환 단계에서는 파싱된 의사코드 라인을 구문 트리(syntax tree)로 변환한 뒤, Visitor 패턴을 이용해 원인(Cause)과 결과(Effect)를 추출한다. 논리 연산자(∧, ∨, ¬, ⇒)를 기반으로 노드를 연결해 CEG를 구성하고, 기존 오픈소스 도구 Specmate와 연동해 최소 테스트 케이스 집합을 자동 생성한다. 이 과정에서 중첩된 IF‑ELSE 구조를 중간 노드로 모델링함으로써 복잡한 비즈니스 규칙도 정확히 표현한다.

실험은 두 부분으로 나뉜다. 첫 번째는 라인 탐지 정확도 평가로, 11개 문서(총 4 450 라인) 중 613 라인을 pseudo‑code로 라벨링한 데이터셋을 사용했다. 교차 검증 결과, 최적 모델은 정확도 94 %, 재현율 90 %를 달성했다. 두 번째는 전체 워크플로우(탐지 → 변환 → 테스트 케이스 생성)의 효율성 평가이다. 전문가 팀이 수작업으로 CEG를 작성하는 데 평균 12시간이 소요된 반면, 자동 파이프라인은 1.7시간 내에 동일한 모델을 생성했으며, 테스트 케이스 수와 커버리지는 수작업과 동일했다.

이 논문의 주요 강점은 (1) 실제 산업 현장의 요구사항을 기반으로 한 실증적 데이터셋 구축, (2) 간단하면서도 효과적인 특징 기반 라인 분류기 설계, (3) 구문 트리와 Visitor 패턴을 활용한 규칙 기반 CEG 변환 로직 구현이다. 한편 한계점으로는 현재 pseudo‑code 탐지에 사용된 특징이 특정 도메인(보험·금융) 중심이며, 다른 산업군에서는 추가적인 특성 엔지니어링이 필요할 수 있다는 점이다. 또한, 현재는 라인 단위 탐지에 머물러 있어 다중 라인에 걸친 복합 규칙을 완전히 포착하지 못한다는 점도 언급된다. 향후 연구에서는 도메인‑독립적인 딥러닝 기반 시퀀스 모델 도입과, 변환된 CEG를 자동으로 유지보수하는 메커니즘을 탐색할 계획이다.