멀티모달 안전 가드레인: Reasoning 기반 GuardReasoner‑Omni

초록

GuardReasoner‑Omni는 텍스트·이미지·비디오를 동시에 검증하도록 설계된 멀티모달 가드레인 모델이다. 148 k개의 CoT(Chain‑of‑Thought) 주석이 달린 데이터셋을 구축하고, (1) 명시적 추론 능력을 갖춘 SFT 단계와 (2) 오류‑구동 탐색 보상을 활용한 RL 단계(GRPO)로 두 단계 학습한다. 2 B·4 B 파라미터 모델을 공개했으며, 다양한 텍스트·이미지·비디오 안전 벤치마크에서 기존 최첨단 모델보다 평균 5 % 이상 높은 F1 점수를 기록한다.

상세 분석

본 논문은 멀티모달 LLM의 안전성 문제를 ‘추론 기반 가드레인’이라는 새로운 패러다임으로 접근한다. 가장 큰 공헌은 세 가지 모달리티를 하나의 모델이 일관된 포맷(…, …)으로 추론 과정을 출력하도록 설계한 점이다. 이를 위해 저자들은 148 k개의 멀티모달 샘플을 수집·정제했으며, 특히 비디오 데이터는 UCF‑Crime, XD‑Violence, SafeWatch‑Bench, VHD, Video‑ChatGPT 등 5개 공개 벤치마크를 통합해 다양성을 확보했다. CoT 주석은 최신 멀티모달 LLM인 Qwen3‑VL‑235B‑A22B를 ‘교사’로 활용해 자동 생성하고, 규칙 기반 필터링으로 품질을 보장한다.

학습 파이프라인은 두 단계로 나뉜다. 첫 번째 SFT 단계에서는 교사 모델이 만든 CoT를 그대로 학습시켜 모델이 ‘생각하고’ 판단하도록 강제한다. 여기서 포맷 준수와 추론 단계의 정확성을 동시에 최적화한다. 두 번째 단계는 Group Relative Policy Optimization(GRPO)이라는 변형된 PPO를 사용한다. 저자들은 SFT 모델이 틀린 경우를 ‘hard sample’로 추출하고, 이들에 대해 오류‑구동 탐색 보상(error‑driven exploration reward)을 부여한다. 보상 함수는 (i) 포맷 준수 여부, (ii) 사용자 요청과 모델 응답 두 축에 대한 정확도, (iii) 오류 발생 시 토큰 길이에 비례하는 탐색 보상(α·tanh(L/σ))을 결합한다. 이렇게 하면 모델이 정답을 맞추면 짧게, 틀리면 더 깊은 추론을 시도하도록 유도한다.

실험 결과는 설득력 있다. 텍스트·이미지·비디오 각각에 대해 기존 LLM 가드 모델(LLaMA Guard, Aegis Guard 등)과 전용 비디오 이상 탐지 모델(Holmes‑VAD, Holmes‑VAU)을 비교했을 때, GuardReasoner‑Omni(2 B)는 평균 F1 83.84%를 기록해 5.3%p(런너‑업 대비) 상승했다. 특히 비디오 영역에서 기존 모델이 19.7%p 급락하는 반면, Omni는 90.24%~99.47% 사이의 높은 점수를 유지한다. 파라미터 규모를 늘린 4 B 모델도 비슷한 수준을 유지하지만, 2 B 모델이 더 효율적이라는 점을 보여준다.

기술적 강점은 (1) 멀티모달 추론을 하나의 일관된 포맷으로 강제함으로써 해석 가능성을 크게 높인 점, (2) hard‑sample 중심의 RL로 경계 상황에서의 일반화 능력을 강화한 점, (3) 오류‑구동 탐색 보상으로 과도한 길이 증가 없이 깊은 추론을 유도한 점이다. 한계로는 비디오 데이터가 프레임 수준의 세밀한 시간적 관계를 완전히 모델링하기엔 아직 부족할 수 있으며, 교사 모델에 의존한 CoT 생성 과정이 편향을 내포할 가능성이 있다. 또한 RL 단계에서 KL‑제한 파라미터와 탐색 보상의 하이퍼파라미터가 도메인에 따라 민감하게 작동할 수 있어 추가 튜닝이 필요하다.

전반적으로 GuardReasoner‑Omni는 멀티모달 안전 검증에 있어 ‘추론 → 판단’ 흐름을 명시적으로 학습시킨 최초의 시도이며, 향후 멀티모달 LLM이 실제 서비스에 적용될 때 신뢰성을 확보하는 데 중요한 기준점을 제공한다.