기초모델 로봇 안전을 위한 모듈형 가드레일 설계

초록

본 논문은 대형 기초모델(FM)이 로봇에 적용될 때 발생하는 물리·의미·인간 중심의 3가지 안전 요구를 정의하고, 단일 레이어 혹은 엔드‑투‑엔드 방식이 갖는 한계를 지적한다. 이를 해결하기 위해 모니터링·평가 레이어와 개입 레이어로 구성된 두 단계 모듈형 가드레일 아키텍처를 제안하며, 레이어 간 표현 정렬과 보수성 할당을 통한 교차 설계 가능성을 제시한다.

상세 분석

이 논문은 기초모델(FM)이 로봇의 인지·계획·제어 전 단계에 깊숙이 통합되면서 전통적인 물리적 제약 검증만으로는 충분히 보장되지 못하는 새로운 위험군이 등장한다는 점을 명확히 한다. 저자들은 안전을 ‘행동 안전’, ‘결정 안전’, ‘인간 중심 안전’이라는 세 축으로 체계화하고, 각각이 요구하는 제약조건과 실패 모드를 구체적으로 분류한다. 행동 안전은 충돌 회피, 관절 제한, 힘/임피던스 제어와 같이 기존 제어 이론으로 검증 가능한 물리적 제약을 의미한다. 결정 안전은 FM이 생성하는 계획이나 언어 명령이 상황에 맞는지, 예를 들어 ‘날카로운 물건을 아이에게 건네지 않는다’와 같은 의미적 금칙을 만족하는지를 평가한다. 인간 중심 안전은 로봇 행동이 인간의 기대와 사회적 규범에 부합하는지, 신뢰와 예측 가능성을 유지하는지를 다룬다.

논문은 기존 접근법을 세 가지 범주로 나눈다. 첫째, 정적 검증과 같은 사전 검증 방식은 환경·작업이 변동하는 오픈월드에서는 적용 범위가 제한된다. 둘째, 단일 모듈식 컨트롤러나 엔드‑투‑엔드 정책은 FM의 불확실성(에피스테믹 불확실성, 분포 이동, 환각)과 물리적 제약을 동시에 만족시키기 어렵다. 셋째, 외부 안전 필터를 한 레이어에만 두는 방식은 다른 레이어에서 발생하는 오류를 차단하지 못한다.

이에 대한 해결책으로 제안된 ‘모듈형 가드레일’은 두 개의 주요 레이어로 구성된다. 모니터링·평가 레이어는 인지·계획·제어 단계에서 발생하는 위험 신호를 실시간으로 추출하고, 위험 정도를 정량화한다. 여기에는 불확실성 정량화, 적대적 공격 탐지, 인간 의도 추정 등이 포함된다. 개입 레이어는 ‘결정 게이트’와 ‘행동 게이트’로 나뉘어, 위험 신호가 일정 임계치를 초과하면 계획을 재생성하거나 물리적 제어 명령을 필터링한다. 특히, 두 레이어 간에 표현 정렬(예: 동일한 위험 점수 체계)과 보수성 할당(예: 결정 단계에서는 보수성을 낮추고 행동 단계에서 보수성을 높이는 전략)을 통해 과도한 보수성으로 인한 성능 저하를 최소화한다.

교차 설계 관점에서 저자들은 (1) 위험 평가를 위한 공통 표현 공간 구축, (2) 각 레이어별 보수성 파라미터를 동적으로 조정하는 메커니즘, (3) 모듈 간 독립적인 검증 및 업데이트 가능성을 강조한다. 이러한 설계는 새로운 작업이나 환경이 추가될 때 전체 시스템을 재학습하지 않고도 개별 모듈만 교체·업데이트함으로써 장기적인 안전성을 확보한다.

실험적 검증은 아직 제한적이지만, 시뮬레이션 및 제한된 실제 로봇 시나리오에서 ‘칼 전달’과 같은 위험한 상황을 사전에 차단하고, 급격한 환경 변화에도 안정적인 행동을 유지함을 보여준다. 전체적으로 이 논문은 FM 기반 로봇의 안전을 위한 구조적, 계층적 접근법을 제시함으로써 향후 물리적 AI 시스템의 신뢰성 확보에 중요한 방향성을 제공한다.