Doc2Spec 자연어 규칙에서 자동 문법 유도와 형식 사양 생성

초록

Doc2Spec은 대형 언어 모델(LLM)을 활용해 자연어로 기술된 API 규칙에서 도메인 전용 문법을 자동으로 유도하고, 이 문법을 가이드로 하여 형식적인 프로그램 사양을 생성하는 다중 에이전트 프레임워크이다. 문법 유도 단계가 사양 공간을 제한하고 일관성을 보장함으로써, 기존 방법보다 높은 정밀도·재현율을 달성하고, 수동으로 만든 문법과도 경쟁 가능한 성능을 보인다.

상세 분석

Doc2Spec은 자연어 API 문서에서 규칙을 추출하고, 이를 기반으로 도메인‑특화 DSL(DSL) 문법을 자동으로 생성한다는 점에서 기존 LLM 기반 사양 생성 연구와 차별화된다. 핵심 아이디어는 “문법 유도” 단계로, 템플릿 기반 프롬프트를 통해 LLM에게 규칙에 등장하는 개념(정렬, 술어 등)을 식별하게 하고, 이를 EBNF 형태의 문법으로 정형화한다. 이렇게 만든 문법은 이후 사양 생성 단계에서 출력 공간을 제한하고, 동일 개념의 일관된 표현을 강제한다. 시스템은 다섯 단계로 구성된다: (1) 엔티티 로컬라이저가 정규표현식과 슬라이딩 윈도우 기법을 결합해 코드 엔티티를 정확히 찾아낸다; (2) 속성 에이전트가 엔티티의 스키마와 속성을 추출한다; (3) 규칙 식별기가 자연어 문장 중 규칙성을 담은 문장을 선별한다; (4) 문법 유도기가 앞선 단계에서 얻은 정렬·술어 정보를 템플릿에 삽입해 도메인‑특화 문법을 생성한다; (5) 최종 사양 생성기가 문법을 강제조건으로 삼아 형식 사양(예: SMT‑LIB, Boogie 등)을 만든다. 각 LLM 호출 결과는 JSON 스키마 검증과 파이썬 도구를 통해 자동 검증·재시도 메커니즘을 적용해 신뢰성을 높였다. 실험은 Solidity, Rust, Java 세 언어와 메모리 할당, 스마트 계약, 데이터베이스 사용 등 7개의 벤치마크에서 수행됐으며, 문법 없이 생성한 베이스라인 대비 정밀도 0.27, 재현율 0.11 향상을 보였다. 수동 문법을 사용한 SymGPT와 비교했을 때는 일부 벤치마크에서 재현율·규칙 품질 모두 경쟁력을 유지했다. 또한 SymGPT 검증 백엔드와 결합해 실제 스마트 계약 120개의 버그를 탐지함으로써 실용성을 입증했다. 이 연구는 LLM을 활용한 자동 문법 유도가 형식 사양 자동화에 있어 비용 효율적이며, 도메인에 구애받지 않는 일반화 가능성을 제공한다는 중요한 통찰을 제공한다.