ARGOS 속성‑기반 조합 추론으로 구현형 AI 안전 요구사항 자동 생성

초록

본 논문은 개방형 자연어 명령을 물리적 속성으로 분해하고, 속성‑기반 조합 추론을 통해 위험 시나리오를 도출한 뒤, ISO 13482 등 규격에 맞는 기능 안전 요구사항(FSR)을 자동으로 생성하는 두 단계 파이프라인 ARGOS를 제안한다. 실험 결과, 기존 LLM 기반 베이스라인보다 장기 위험(롱테일 리스크) 탐지와 FSR 품질 모두에서 우수함을 입증한다.

상세 분석

ARGOS는 Embodied AI가 무한에 가까운 작업 공간에서 동작한다는 전제 하에, 전통적인 HARA가 갖는 “정적 기능 리스트 → 위험 열거” 구조의 한계를 극복하고자 설계되었다. 핵심 아이디어는 속성‑가이드형 위험 발견(Attribute‑Guided Hazard Discovery) 단계와 시나리오‑앵커드 요구사항 합성(Scenario‑Anchored Requirement Synthesis) 단계로 구성된 두 단계 파이프라인이다.

첫 번째 단계에서는 사용자의 자연어 명령을 spaCy 기반 구문 분석기로 시멘틱 유닛(U) 으로 분리하고, BGE 임베딩을 활용해 사전 정의된 규칙 베이스(R) 와 유사도 매칭(τ_attr = 0.7)으로 물리적 속성 집합 A_injected 를 추출한다. 여기서 규칙 베이스는 전문가가 구축한 물리 법칙·제약(예: 물체 질량, 마찰계수, 로봇 최대 하중 등)으로, 모델이 통계적 상관관계에 의존하는 것을 방지한다. 이후 LLM에게 “seed scenario + A_injected”를 프롬프트로 제공하고, 조합 위험 추론(combinatorial risk inference) 을 수행한다. 위험 메커니즘 H_desc는 k‑factor(최대 k = 3) 속성들의 상호작용을 LLM이 논리적으로 결합해 도출한다. 예시로, “아이 + 뜨거운 수프 전달” 상황에서 LLM은 아이의 고가속도와 로봇의 비상 정지 지연이 유체의 관성력을 증가시켜 수프가 튀는 복합 위험을 생성한다는 구체적 메커니즘을 제시한다.

두 번째 단계에서는 도출된 H_desc를 제약‑가이드 합성(Constraint‑Guided Synthesis) 모듈에 입력한다. 여기서는 로봇의 Capability List(최대 하중, 센서 범위 등)와 규격 템플릿(ISO 13482 조항)을 명시적으로 조건화하여, 물리적으로 실현 가능한 기능 안전 요구사항(FSR) 을 생성한다. 저자는 FSR을 선택한 이유를, 고수준 기능 로직은 LLM이 강점이지만 저수준 기술 사양(TSR)은 물리적 검증이 필요하다는 점에서 설명한다.

실험은 48개의 시드 시나리오를 365개의 확장 위험 시나리오로 변환한 데이터셋을 사용했다. Stage I에서는 LLM‑as‑Judge와 인간 평가자를 통해 위험 설명의 정확성, 물리적 일관성, 장기 위험 포착률을 측정했으며, ARGOS는 베이스라인(Vanilla LLM, Physics‑aware CoT)보다 각각 평균 18 %·22 %·15 % 이상 우수했다. Stage II에서는 규격 일치도, 요구사항 충돌 여부, 실현 가능성을 평가했으며, 전체 파이프라인이 모든 평가 항목에서 최고 점수를 기록했다. 특히, 속성 주입 없이 단순 프롬프트만 사용한 경우 위험 설명이 물리적으로 불가능하거나 과도하게 일반화되는 오류가 빈번히 발생했음을 보고한다.

핵심 기여는 다음과 같다. ① 무제한 자연어 명령으로부터 자동으로 FSR을 생성하는 최초의 프레임워크를 제시하였다. ② “Label‑to‑Label” 매핑을 넘어 속성‑기반 추론을 도입해 심볼 그라운딩 문제를 완화하고, 장기 위험을 체계적으로 탐지한다. ③ 규격·하드웨어 제약을 명시적으로 통합함으로써, 생성된 요구사항이 실제 로봇 설계에 바로 적용 가능하도록 했다.

이러한 설계는 향후 Embodied AI가 가정·서비스 로봇 등 안전이 핵심인 분야에 빠르게 적용될 수 있는 기반을 제공한다. 다만, 규칙 베이스 구축 비용과 k‑factor 조합 탐색의 계산 복잡도, 그리고 LLM의 프롬프트 설계 민감도 등 실용화 단계에서 해결해야 할 과제도 남아 있다.