희소 결정에서 밀집 추론으로: 다중속성 궤적 기반 멀티모달 안전 검열

초록

UniMod은 이진 라벨에 의존하는 기존 멀티모달 검열의 단순화 문제를 해결하기 위해, 증거 기반, 모달리티 평가, 위험 매핑, 정책 결정, 응답 생성의 5단계 궤적을 설계한다. 다중헤드 스칼라 보상 모델 UniRM으로 각 단계에 속성별 점수를 부여하고, 헤드‑별 가중치 서브스페이스 분리와 확률적 헤드 스케줄링을 통해 다중 과제 간 간섭을 최소화한다. 실험에서는 40 % 이하의 학습 데이터만 사용해 텍스트 검열에서 경쟁력을 유지하고, 멀티모달 검열에서는 새로운 최고 성능을 기록한다.

상세 분석

본 논문은 멀티모달 안전 검열이 직면한 ‘데이터·지도 희소성’ 문제를 근본적으로 재구성한다. 기존 방법은 입력‑출력 스트림을 단일 이진 라벨로 압축함으로써 모델이 텍스트 혹은 시각적 패턴에 대한 표면적 편향을 학습하게 만든다(‘shortcut learning’). UniMod은 이러한 단일 결정 구조를 ‘증거(Evidence) → 모달리티(Modality) → 위험(Risk) → 정책(Policy) → 응답(Answer)’이라는 5개의 논리적 앵커로 이루어진 궤적으로 전환한다. 각 앵커는 별도의 라벨링이 가능하도록 설계돼, 모델이 단계별로 의미론적 근거를 제공하도록 강제한다.

궤적 라벨링은 UniTrace이라는 합의 기반 데이터 엔진을 통해 구축된다. 세 개의 최상위 VLM(Seed1.6‑vision‑250815, GLM‑4.5V, Gemini‑2.5‑Pro)을 교사 모델로 활용해, 각 노드별 다수결 혹은 의미적 중심(semantic centroid) 방식을 적용해 ‘고품질’ 라벨을 생성한다. 이후 각 노드에 가장 일관된 교사를 할당하는 ‘전문가 교사’ 단계가 추가돼, 노드별 전문성을 극대화한다.

학습 단계에서는 UniRM이라는 다중헤드 스칼라 보상 모델을 도입한다. UniRM은 동일한 VLM 백본에 속성별(head) 스칼라 보상 함수를 병렬로 두고, 헤드‑별 가중치 서브스페이스 분리(head‑wise weight subspace decoupling)와 확률적 헤드 스케줄링(stochastic head scheduling)으로 파라미터 간 상호작용을 억제한다. 이는 다중 속성(예: 증거 적합도, 모달리티 정확도, 위험 점수, 정책 일관성, 응답 품질) 사이의 그래디언트 간섭을 최소화해 안정적인 수렴을 가능하게 한다.

이론적 분석에서는 그룹 상대 정책 최적화(GRPO) 프레임워크 아래, 전체 보상을 가중합 형태(R_uni = Σ w_k r_k)로 정의함으로써 보상 분포의 밀도를 유지하고, 수치적 조건을 개선한다. Lemma 3.1‑3.4를 통해 (1) 탐색 공간을 단계별 서브스페이스로 축소해 샘플 복잡도를 지수적에서 선형적으로 감소시킴, (2) ‘인식 보호(perception protection)’ 메커니즘으로 올바른 증거 단계가 잘못된 최종 결정에 의해 패널티를 받지 않게 함, (3) ‘결정 근거화(decision grounding)’를 통해 후속 응답 단계가 정책 결정을 의미론적으로 검증하도록 함, (4) 가중합 보상이 보상 스펙트럼을 풍부하게 유지해 GRPO의 이점(표준편차 기반 어드밴티지 추정)을 보존한다.

실험 결과는 두 가지 주요 지표에서 두드러진 성과를 보인다. 텍스트 검열에서는 기존 SOTA 모델 대비 동일하거나 약간 높은 정확도를 유지하면서 학습 데이터 양을 40 % 이하로 감소시켰다. 멀티모달 검열에서는 UniMod이 가장 최신의 LlamaGuard‑Vision, GuardReasoner‑VL 등과 비교해 평균 7 %~12 %의 F1 점수 향상을 달성했으며, 특히 시각‑텍스트 복합 위협(예: 이미지에 숨겨진 텍스트, 변조된 이미지‑캡션)에서 오류율을 크게 낮췄다. Ablation 연구에서는 (a) UniTrace 없이 단일 라벨만 사용했을 때 성능 급락, (b) 헤드‑별 가중치 분리 없이 다중 헤드를 학습했을 때 불안정한 수렴, (c) 가중합 대신 곱셈 보상 집계 시 전체 보상이 0에 수렴해 학습이 정체되는 현상을 확인했다.

결론적으로, UniMod은 ‘희소 결정 → 밀집 추론’이라는 패러다임 전환을 통해 멀티모달 안전 검열의 해석 가능성, 데이터 효율성, 성능을 동시에 향상시킨다. 구조적 투명성을 강조함으로써 단순 스케일링보다 근본적인 설계가 안전 AI 시스템에 필수적임을 입증한다.