비즈니스 규칙 흐름 모델링을 위한 BREX 벤치마크와 ExIde 프레임워크

초록

본 논문은 복잡한 조건·분기·병렬 구조를 가진 실제 비즈니스 규정에서 규칙 흐름을 자동으로 추출하기 위한 BREX 데이터셋과, 다섯 가지 프롬프트 전략을 활용해 구조‑인식 추론을 수행하는 ExIde 프레임워크를 제안한다. 13개의 최신 LLM을 평가한 결과, 의사코드 기반 실행 가능 그라운딩이 가장 높은 성능을 보였으며, 논리‑최적화 모델이 장거리·비선형 의존 관계 추론에 유리함을 확인하였다.

상세 분석

BREX는 기존 레시피·튜토리얼 중심 데이터셋이 갖는 선형·단순 논리 구조의 한계를 극복하기 위해 설계되었다. 30개가 넘는 산업·학술·행정·금융 분야에서 수집된 409개의 실제 비즈니스 문서와 2,855개의 전문가 주석 규칙을 포함한다. 각 규칙은 “슬롯 타입‑논리 연산자‑참조 값” 형태의 조건 삼중항과 행동(Action)으로 정형화되며, 순차(Sequential), 조건(Conditional), 병렬(Parallel) 세 종류의 의존 관계로 연결된다. 데이터 품질은 가독성·정확성·명료성 등 5가지 차원에서 1‑5점 척도로 평가되었고, ICC 0.892, Fleiss’ Kappa 0.901이라는 높은 일관성을 확보했다.

ExIde는 규칙 추출과 의존 그래프 재구성을 두 단계로 분리하는 ‘decompose‑and‑reason’ 전략을 채택한다. 첫 단계에서는 LLM에게 다섯 가지 프롬프트(P1‑P5)를 제공해 구조‑인식 출력을 유도한다. P1은 자연어 설명 후 구조화된 출력으로 매핑을 암묵적으로 수행하고, P2는 설명‑규칙 간 명시적 연결을 강제한다. P3는 입력 라벨링을 명확히 하여 도메인 인식을 높이며, P4는 논리 연산자 정의를 삽입해 다중값 슬롯 처리 오류를 감소시킨다. 가장 혁신적인 P5는 의사코드(예: if condition: execute_action())를 중간 표현으로 생성한 뒤 이를 기반으로 최종 규칙을 추출하도록 설계돼, 복잡한 중첩 조건과 흐름 제어를 코드 수준에서 사전 해결한다.

두 번째 단계에서는 추출된 규칙 집합을 이용해 전역 의존 그래프를 구성한다. 여기서는 규칙 간 순차·조건·병렬 관계를 식별하고, 그래프 구조를 검증한다. 실험에서는 GPT‑4, Claude‑2, Llama‑2‑70B 등 13개 모델을 대상으로 각 프롬프트의 정확도(F1), 의존 관계 재구성 정확도, 그리고 장거리 의존 추적 능력을 측정했다. 결과는 P5(실행 가능 그라운딩)가 평균 F1 점수에서 7~9%p 상승을 보였으며, 특히 복잡한 조건·병렬 구조가 많은 문서에서 두드러졌다. 또한, ‘reasoning‑optimized’ 모델(예: Claude‑2‑Sonnet, GPT‑4‑Turbo)은 장거리·비선형 의존 관계 탐지에서 일반 instruction‑tuned 모델보다 12%p 이상 높은 성능을 기록했다.

이러한 발견은 두 가지 중요한 시사점을 제공한다. 첫째, LLM에게 코드‑유사 중간 표현을 제공하면 논리‑집약적인 추출 작업에 강력한 inductive bias가 형성되어, 복잡한 비즈니스 규칙을 더 정확히 파악할 수 있다. 둘째, 모델 자체의 논리 추론 능력이 데이터셋의 비선형 의존 구조를 다루는 핵심 요인임을 보여, 향후 LLM 설계 시 논리‑추론 최적화가 필수적임을 암시한다. 마지막으로, BREX는 실제 기업 환경에서 규정 자동화·업데이트 파이프라인을 구축하기 위한 표준 벤치마크로 활용될 수 있으며, 향후 규정·정책 관리 시스템에 직접 적용 가능한 기반을 제공한다.