문화적 해석 능력 평가를 위한 멀티모달 LLM 프레임워크 VULCA

초록

본 논문은 전통 중국 회화 비평을 대상으로 멀티모달 대형 언어 모델(VLM)의 해석·비평 능력을 정량화하는 VULCA 프레임워크를 제안한다. 인간 전문가 163편의 비평을 3차원(평가 입장·특징 초점·비평 품질)으로 라벨링하고, 제로샷 분류기로 47개 세부 특성을 추출한다. 정의된 8가지 비평자 페르소나와 도메인 지식베이스를 활용한 프롬프트로 Llama, Qwen, Gemini 등을 평가·보강했으며, Gemini 2.5 Pro에서 상징적 추론 20 %·논리 일관성 30 % 향상을 확인했다.

상세 분석

VULCA는 세 가지 핵심 모듈로 구성된다. 첫째, MHEB(Multi‑dimensional Human Expert Benchmark) 구축 단계에서는 궁궐 회화·베이징·타이페이 국립박물관 등 권위 있는 전시 카탈로그와 학술 논문에서 추출한 163개의 전문가 비평을 수집하고, 3명의 석사 수준 주석자가 38개의 기본 라벨(평가 입장 10개, 특징 초점 17개, 비평 품질 11개)과 9개의 파생 차원을 0‑1 연속 점수로 매핑하였다. 라벨링 가이드라인은 Xie He의 ‘육법’, 서구 미술사학의 ‘추론적 비평’, ICOM‑CIDOC 메타데이터 표준을 통합해 문화·기술·미학을 동시에 포착한다. Fleiss κ 0.78·ICC 0.82라는 높은 상호주석 일치를 통해 데이터 신뢰성을 확보하였다.

둘째, 제로샷 텍스트 분류기(BART‑large‑mnli)를 이용해 인간 비평을 47차원 특성 벡터로 변환한다. 가설‑엔트레일 방식으로 “이 텍스트는 X 라벨에 해당한다”를 평가해 확률 p를 얻고, p > 0.5를 존재 여부, 연속값을 강조 정도로 사용한다. 이 과정은 VLM 자체와는 독립적이며, 인간 비평의 구조적 패턴을 정량화하는 역할을 한다.

셋째, VLM 평가·보강 단계에서는 8가지 페르소나(역사학자, 미학가, 기술 분석가 등)와 도메인 지식베이스(용어 사전·상징 체계)를 프롬프트에 삽입해 모델에게 특정 관점으로 비평을 생성하도록 유도한다. 베이스라인(무조건 프롬프트)과 비교해, Gemini 2.5 Pro는 상징적 추론 점수가 평균 0.62→0.75(+20 %)로, 논리적 일관성 점수가 0.68→0.88(+30 %)로 상승했다. Llama 3와 Qwen‑VL은 개선 폭이 다소 적었지만, 페르소나 조건이 모델 출력의 스타일·용어 선택에 미치는 영향을 정량적으로 입증했다.

전체적으로 VULCA는 (1) 문화·예술 분야의 다차원 평가 기준을 체계화, (2) 제로샷 라벨링으로 인간 비평을 정량화, (3) 페르소나·지식베이스 기반 프롬프트로 VLM의 해석 능력을 실질적으로 향상시키는 종합 파이프라인을 제공한다. 이는 기존 MME·MMBench 등 객관식·사실성 중심 벤치마크와 달리, 심층 의미·문화 적합성을 측정하는 새로운 평가 패러다임을 제시한다.