규범적 일체형 에이전시를 탈피한 GRACE 이유 기반 신경기호 안전 AI 설계

초록

본 논문은 윤리·법적 규범을 도구적 목표와 분리하는 신경‑기호 아키텍처 GRACE를 제안한다. GRACE는 도덕 모듈(MM)이 비공식적 deontic 논리를 이용해 허용되는 매크로 행동을 판단하고, 의사결정 모듈(DMM)이 그 매크로에 맞는 최적 원시 행동을 선택한다. 가드가 실행을 감시·제한함으로써 투명성·검증 가능성을 확보한다. LLM 기반 치료 보조 사례를 통해 이해·이의제기·수정 가능성을 시연한다.

상세 분석

GRACE는 기존 AI 에이전시가 정책 π에 도구적 효율성과 규범적 제약을 동시에 내재시키는 ‘평탄화 문제’를 구조적으로 해결한다. 세 모듈로의 명확한 역할 분리는 각각의 검증·학습 방법을 독립적으로 적용할 수 있게 만든다.

1. Moral Module (MM) – 비공식적 deontic 논리와 이유 기반(formal reason) 체계를 사용해 매크로 행동 유형(MAT)을 정의한다. 매크로 행동은 시간적·상황적 맥락을 포괄하는 고수준 추상이며, 이는 규범적 판단이 원시 행동 수준이 아닌 의미론적 수준에서 이루어지도록 한다. MM은 기호적 증명과 사례 기반 피드백을 결합해 ‘이유 이론(reason theory)’을 점진적으로 확장한다. 이는 규범 변경이나 문화적 차이에 대한 적응성을 제공한다.
2. Decision‑Making Module (DMM) – MM이 제공한 매크로 제약을 입력으로 받아, 강화학습, 정책망, 혹은 LLM 등 기존의 신경망 기반 최적화 기법을 그대로 활용한다. DMM은 원시 행동 a∈A를 선택하지만, 선택 전후에 MM이 정의한 MAT에 부합하는지 검증받는다. 따라서 도구적 효율성은 유지하면서 규범 위반 위험을 사전에 차단한다.
3. Guard – 실행 단계에서 DMM이 선택한 행동을 실시간 모니터링하고, MM이 허용하지 않은 매크로 행동이 감지되면 차단하거나 대체 행동을 강제한다. 이는 형식 검증(formal verification)과 확률적 안전 보장(statistical guarantees)을 동시에 제공한다.
   논문은 또한 행동 추상화를 강조한다. 원시 행동, 매크로 행동, 매크로 행동 유형이라는 3계층 구조는 인간이 규범을 논의할 때 사용하는 ‘무엇을 해야 하는가’와 ‘어떻게 구현할 것인가’를 명확히 구분한다. 이 계층화는 기존 RLHF나 Constitutional AI가 겪는 ‘규범을 블랙박스 신경망에 압축’하는 문제를 회피한다.
   기술적 기여는 다음과 같다. (1) deontic 논리의 의미론적 기반을 신경‑기호 시스템에 통합, (2) 이유 기반 증명 체계와 사례 기반 피드백을 결합한 동적 규범 학습 메커니즘, (3) 모듈 간 인터페이스를 형식화한 프로토콜 정의, (4) 매크로 행동 유형을 통한 규범‑도구적 목표의 명시적 분리. 실험에서는 LLM 기반 치료 보조인 “THERAPAI”에 GRACE를 적용해, 환자 비밀 유지, 자해 위험 감지, 문화적 민감성 등 복합적인 윤리적 요구를 충족시키면서도 치료 효과를 유지하는 모습을 보여준다. 결과는 이해 가능성(interpretability), 이의제기 가능성(contestability), 그리고 정량적 안전 보장(quantitative safety guarantees) 측면에서 기존 블랙박스 접근법보다 우수함을 시사한다.