신뢰할 수 있는 임베디드 AI를 위한 검증 가능한 계획 프레임워크

초록

본 논문은 대형 언어 모델(LLM)의 계획 능력을 검증 가능한 논리와 결합한 하이브리드 아키텍처인 VIRF를 제안한다. 결정론적 Logic Tutor가 안전 온톨로지를 기반으로 LLM 플래너에게 인과적·교육적 피드백을 제공함으로써 위험 행동을 0%로 억제하고, 평균 1.1회의 수정 반복으로 77.3%의 목표 달성률을 기록한다. 또한 실문서에서 안전 지식을 자동 추출·검증하는 파이프라인을 구축해 기존 벤치마크의 맹점을 보완한다.

상세 분석

VIRF는 크게 세 가지 혁신적 요소로 구성된다. 첫째, 논리 튜터와 LLM 플래너 사이의 ‘튜터‑견습생’ 대화 메커니즘이다. 튜터는 OWL‑2 기반의 형식화된 안전 온톨로지를 활용해 계획을 형식 논리 검증기에 투입하고, 위반이 감지되면 단순 거부가 아니라 “왜 위험한가”를 증명 트레이스 형태로 설명한다. 이 인과적 설명은 LLM에게 규칙의 근본 원리를 학습시키는 교육적 역할을 수행한다는 점에서 기존의 ‘규칙 위반 알림’ 방식과 근본적으로 차별화된다.

둘째, 지식 획득 파이프라인인 Traceable Axiom Synthesis(TAS)이다. 비구조화된 안전 매뉴얼·법령을 검색‑요약‑형식화‑인간 검증의 4단계 루프로 자동화함으로써, 수백 개의 검증 가능한 TBox axioms를 짧은 시간에 구축한다. 이 과정에서 LLM이 초안 작성에 참여하지만, 반드시 원문 근거와 함께 인간 전문가가 논리·의미 검증을 수행하므로, 최종 온톨로지는 완전한 형식적 정확성을 보장한다.

셋째, VLM‑Cascade Perception을 통한 풍부한 시맨틱 씬 그래프(RSSG) 생성이다. 기존 오픈‑밴드 씬 그래프가 객체‑관계 수준에 머무는 반면, RSSG는 온도, 전도성, 물질 상태 등 안전 판단에 필수적인 속성을 명시적으로 추출한다. 이를 통해 검증 엔진이 “전자레인지가 켜져 있고 금속 냄비가 놓여 있다 → 스파크 위험”과 같은 미세한 인과 관계를 정확히 파악한다.

실험 결과는 두드러진 성과를 보여준다. 가정 내 위험 작업 12종목에 대해 VIRF는 Hazardous Action Rate(HAR)를 0%로 달성했으며, Goal‑Condition Rate(GCR)는 77.3%로 기존 최첨단 방법들을 크게 앞섰다. 평균 1.1회의 수정 반복이라는 효율성도 눈에 띈다. 이는 튜터가 제공하는 구조화된 진단 보고서가 LLM의 탐색 공간을 급격히 축소시켜, 불필요한 시도와 재시도를 최소화했기 때문이다.

또한, 논문은 안전 벤치마크가 실제 위험 상황을 충분히 포괄하지 못한다는 ‘블라인드 스팟’ 문제를 정량화한다. TAS를 통해 구축한 온톨로지는 화학·식품 안전 등 기존 데이터셋에 누락된 위험 요소를 30% 이상 보완했으며, 이는 향후 안전 검증 연구에 중요한 기반이 될 것으로 기대된다.

전반적으로 VIRF는 “검증 가능한 논리 + 확률적 생성”이라는 두 축을 성공적으로 결합한 최초의 시스템으로, 임베디드 AI가 물리적 세계에 안전하게 투입될 수 있는 원칙적·실용적 로드맵을 제시한다.