확률 요구사항 자동 형식화: 구조화된 자연어에서 논리식으로

초록

본 논문은 NASA의 FRET 도구에 확률 필드를 추가해 구조화된 자연어(FRETish)로 작성된 요구사항을 자동으로 PCTL*와 같은 확률 시간 논리식으로 변환하는 방법을 제안한다. 새로운 문법 확장, 구성적 번역 알고리즘, 자동 검증 프레임워크를 구현하고 300여 개 이상의 실제·문헌 요구사항에 대해 실험하여 표현력과 정확성을 입증하였다.

상세 분석

이 연구는 자율·적응 시스템 개발 시 필수적인 ‘확률적 요구사항’의 형식화 문제를 실용적인 수준으로 끌어올렸다. 기존 FRETish는 160개의 템플릿 키만 지원했으며, 확률 연산자를 전혀 다루지 못했다. 저자들은 (i) 확률 필드(probability)와 (ii) 새로운 조건 키워드(upon)를 도입해 템플릿 수를 560개로 확대하였다. 이는 확률 경계값(0 ≤ p ≤ 1)과 관계 연산자(<, ≤, >, ≥)를 명시적으로 기술하게 함으로써, “확률 0.9 이상으로 …”와 같은 요구를 자연어에 가깝게 표현하도록 만든다.

문법은 ANTLR 기반 EBNF로 정의돼 기존 구문과 완전 호환되며, 각 필드가 색상으로 구분돼 사용자 인터페이스에 즉시 피드백을 제공한다. 번역 단계는 ‘Probabilistic Formalizer’가 모든 템플릿을 사전(Probabilistic Cache)으로 미리 컴파일하고, 사용자가 입력하면 ‘Probabilistic Instantiator’가 변수만 바인딩해 PCTL* 식을 생성한다. 핵심은 SALT(Structured Assertion Language for Temporal Logic)를 이용해 LTL 코어를 자동 단순화하고, 이를 PRISM 속성 언어 형식으로 출력한다는 점이다.

형식화된 식이 요구사항 의미와 일치하는지 검증하기 위해 ‘Probabilistic Formalization Validator’를 설계했다. 여기서는 (1) 확률 모델 생성기, (2) 확률 오라클(템플릿 의미를 수학적으로 해석), (3) PRISM 기반 의미 평가기가 순차적으로 작동한다. 오라클이 기대하는 결과와 모델 검증 결과가 일치하면 자동으로 ‘정상’으로 표시된다. 이 과정은 형식화 오류를 인간이 직접 검토할 필요 없이 자동화함으로써 신뢰성을 크게 높인다.

평가에서는 334개의 요구사항을 세 가지 연구 질문(RQ1: 표현 가능성, RQ2: 자동화 성공률, RQ3: 실무 적용성)으로 나누어 실험했다. 96% 이상이 무결점으로 번역되었으며, 특히 확률적 안전 요구사항(예: “고장 확률이 0.001 이하”)을 정확히 포착했다. 또한 산업 파트너(RTX)와의 사례 연구에서 자동 생성된 PCTL*를 이용해 모델 검증을 수행, 기존 수작업 대비 시간·오류율이 크게 감소한 것을 확인했다.

위협 분석에서는(1) 템플릿 기반 접근이 새로운 언어 구조에 제한될 가능성, (2) 확률 오라클 구현의 가정(예: 마크오프 체인 모델링) 등이 제시되었으며, 향후 LLM 기반 자연어 파싱과의 연계 방안을 논의한다. 전체적으로 이 논문은 확률 요구사항을 비전문가도 다룰 수 있게 하는 중요한 인프라를 제공하며, 형식 검증 자동화와 도구 체인의 완전성을 동시에 달성한 점이 큰 의의다.