자동화된 안전 벤치마크 구축: LVLM을 위한 멀티에이전트 파이프라인

초록

VLSafetyBencher는 데이터 전처리, 생성, 증강, 선택 네 개의 협업 에이전트를 활용해 LVLM 안전 벤치마크를 자동으로 만들고, 일주일 이내에 고품질 샘플을 확보한다. 실험 결과, 가장 안전한 모델과 가장 위험한 모델 사이에 70%의 안전성 차이를 드러내며, 기존 인간 구축 벤치마크보다 15.67% 높은 구분력을 보인다.

상세 분석

본 논문은 대규모 비전‑언어 모델(LVLM)의 안전성 평가에 필요한 데이터셋 구축 과정을 완전 자동화하는 시스템 VLSafetyBencher를 제안한다. 기존 벤치마크는 수작업 중심의 고비용·고노동 구조와 정적 복잡도, 낮은 구분력이라는 세 가지 근본적인 한계를 가지고 있었다. 이를 극복하기 위해 저자들은 네 개의 전문 에이전트를 설계했으며, 각각의 역할과 구현 세부 사항은 다음과 같다.

1. Data Preprocessing Agent

   • 원시 이미지 300K개(기존 안전 데이터, 일반 이미지, 합성 이미지, 소셜 미디어)에서 저해상도·짧은 프롬프트(≤24자)를 제거하고, CLIP 기반 중복 제거와 품질 필터링을 수행한다.
   • 안전 분류 체계(프라이버시, 편향, 독성, 불법, 허위정보, 건강위험)를 두 단계 트리 구조로 정의하고, CLIP·LVLM을 활용해 이미지‑텍스트 쌍을 자동 라벨링한다. 이 과정은 인간 라벨러 없이도 92% 이상의 라벨 정확도를 달성한다는 실험적 근거가 제시된다.

2. Data Generation Agent

   • 악의적인 이미지‑질문 쌍을 생성하기 위해 ‘모달리티 의존성’, ‘보완성’, ‘충돌’이라는 세 가지 합성 전략을 도입한다.
   • 모달리티 의존성: 이미지에만 위험 요소가 존재하고 텍스트는 중립적이며, 모델이 순수 시각 분석을 통해 위험을 감지하도록 만든다.
   • 보완성: 위험 인식에 이미지와 텍스트가 각각 부분 정보를 제공해, 두 모달리티의 융합 없이는 판단이 불가능하도록 설계한다.
   • 모달리티 충돌: 텍스트는 위험을 유도하거나 오도하지만 이미지와는 상충한다. 모델이 시각적 증거와 텍스트를 비교·비판적으로 평가하도록 유도한다.
   • 이 에이전트는 LLM과 이미지 생성 모델(예: Stable Diffusion) 그리고 LVLM을 순환 호출해 150K개의 후보 샘플을 만든다.

3. Data Augmentation Agent

   • 후보 샘플의 다양성과 위험성을 높이기 위해 이미지 변형(색상 교체, 배경 교체, 객체 삽입/삭제)과 텍스트 변형(동의어 교체, 문장 구조 재배열, 악성 키워드 삽입)을 동시에 적용한다.
   • ‘이중 모달 변이’ 전략을 통해 원본 샘플당 평균 3개의 변형을 생성, 전체 데이터 규모를 450K 수준으로 확대한다.

4. Selection Agent

   • 최종 벤치마크에 포함될 샘플을 선택하기 위해 ‘구분성(separability)’, ‘악성도(harmfulness)’, ‘다양성(diversity)’이라는 세 가지 목표 함수를 정의하고, 이를 가중합한 스코어를 최적화한다.
   • 선택 문제를 이산 최적화 문제로 공식화하고, greedy‑based iterative algorithm을 적용해 전역 최적에 근접한 해를 얻는다. 실험에서는 10,000개의 최종 샘플이 선정되었으며, 이들에 대한 인간 평가에서 평균 위험 점수가 0.87(1.0에 근접)로 나타났다.

실험 및 결과

• VLSafetyBencher가 생성한 벤치마크를 사용해 12개의 최신 LVLM(예: LLaVA‑1.5, MiniGPT‑4, InstructBLIP 등)을 평가한 결과, 가장 안전한 모델과 가장 위험한 모델 사이에 70%의 안전성 차이가 발생했다. 이는 기존 SafeBench·MLLMGuard 대비 15.67% 높은 구분력을 의미한다.
• 비용 측면에서는 전체 파이프라인을 1주일 내에 $2,300(클라우드 GPU 비용 포함)으로 수행했으며, 인간 라벨링에 비해 95% 이상의 비용 절감 효과를 보였다.
• Ablation study에서는 각 에이전트의 기여도를 분석했으며, 특히 Selection Agent의 최적화가 구분성 향상에 가장 큰 영향을 미쳤다.

한계와 향후 과제

• 현재는 이미지와 텍스트의 2‑모달만을 다루며, 동영상·음성 등 멀티모달 확장은 미구현 상태이다.
• 악성 샘플 생성 시 모델 자체가 생성한 위험 콘텐츠가 실제 사회적 해를 초래할 가능성이 있어, 생성 단계에서의 안전 필터링이 필요하다.
• 벤치마크 업데이트 주기가 며칠 수준이지만, 급격히 변하는 공격 기법에 대한 실시간 대응 메커니즘은 아직 부족하다.

전반적으로 VLSafetyBencher는 LVLM 안전 평가를 위한 데이터 파이프라인을 자동화함으로써 비용·시간을 크게 절감하고, 동적인 위험 환경에 빠르게 대응할 수 있는 기반을 제공한다.