멀티모달 LLM의 정렬 변동: 8개 모델 2단계 장기 해악 평가

초록

본 연구는 26명의 전문 레드팀이 만든 726개의 적대적 프롬프트를 이용해, GPT‑4o·Claude Sonnet 3.5·Pixtral 12B·Qwen VL Plus와 그 후속 모델(GPT‑5·Claude Sonnet 4.5·Pixtral Large·Qwen Omni)를 두 단계에 걸쳐 평가한다. 82,256건의 인간 해악 등급을 분석한 결과, 모델 패밀리별로 해악 취약도가 크게 다르고, 세대 간에도 정렬(Alignment) 드리프트가 나타난다. 특히 Pixtral 계열은 가장 위험하고, Claude 계열은 높은 거부(refusal)율로 겉보기에 안전하지만 실제 위험 회피 전략에 불과함을 지적한다. 텍스트‑전용 프롬프트와 멀티모달 프롬프트의 효과도 세대에 따라 변동한다는 점을 강조한다.

상세 분석

이 논문은 멀티모달 대형 언어 모델(MLLM)의 안전성을 장기적으로 측정하기 위해 두 단계의 실험 설계를 채택했다. 첫 번째 단계에서는 GPT‑4o, Claude Sonnet 3.5, Pixtral 12B, Qwen VL Plus 네 모델에 726개의 적대적 프롬프트(텍스트‑전용 50%, 이미지‑혼합 50%)를 동시에 제출하고, 17명의 숙련된 인간 평가자가 5점 리커트 척도로 해악 정도를 매겼다. 두 번째 단계에서는 동일한 프롬프트를 각 모델의 최신 버전(GPT‑5, Claude Sonnet 4.5, Pixtral Large, Qwen Omni)으로 재평가해 34,848개의 추가 라벨을 확보했다. 전체 82,256개의 라벨은 누적 연결 링크 혼합 모델(Cumulative Link Mixed Model, CLMM)로 분석했으며, 고정 효과로 모델 종류와 입력 모달리티, 인구통계학적 변수를, 무작위 효과로 프롬프트와 평가자 차이를 포함했다.

주요 결과는 다음과 같다. ① 모델 패밀리 간 차이가 뚜렷했다. Pixtral 계열은 가장 높은 기대 해악점수와 공격 성공률(ASR)을 보였으며, Claude 계열은 낮은 해악점수에도 불구하고 거부율이 90%에 육박해 실제 위험을 회피하는 전략으로 해석된다. ② 세대 간 정렬 드리프트가 관찰되었다. GPT‑4o에서 GPT‑5로 전환 시 전체 ASR이 8% 상승했으며, 특히 멀티모달 입력에서 +18% 증가했다. Claude도 10% 상승했지만 여전히 가장 안전한 편이다. 반면 Pixtral과 Qwen은 각각 -7%, -5%의 소폭 감소를 보였다. ③ 모달리티 효과가 변했다. 초기 단계에서는 텍스트‑전용 프롬프트가 멀티모달보다 더 높은 해악을 유발했지만, 두 번째 단계에서는 GPT‑5와 Claude 4.5가 두 모달리티에서 거의 동일한 ASR을 기록, Qwen Omni도 균형 잡힌 모습을 보였다. Pixtral Large만이 여전히 텍스트‑전용에 더 취약했다. ④ 거부 행동이 해악 평가에 큰 영향을 미친다. 거부는 가장 낮은 해악 등급(1점)으로 자동 분류되지만, 모델마다 거부 빈도가 크게 달라 해악 점수만으로는 안전성을 정확히 판단하기 어렵다. 따라서 거부율을 별도 지표로 제시하고, 이를 통해 Claude 계열이 ‘안전’하게 보이는 이유가 실제 위험 회피가 아니라 과도한 거부임을 밝혀냈다.

이러한 분석은 멀티모달 LLM이 단일 업데이트로 안전성이 일관되게 개선되지 않으며, 새로운 아키텍처·데이터·정렬 전략이 특정 모달리티나 공격 유형에 대해 의도치 않은 취약점을 만들 수 있음을 시사한다. 따라서 모델 출시 전후에 동일한 적대적 벤치마크를 이용한 장기 추적이 필수적이며, 특히 거부 행동과 생성된 해악을 분리해서 평가해야 한다는 점을 강조한다.