자동생성 베트남어 VQA 데이터셋 AutoViVQA와 고품질 검증 프레임워크

초록

AutoViVQA는 대규모 베트남어 시각질문응답(VQA) 데이터셋으로, MS‑COCO 이미지와 VIST‑A 베트남어 캡션을 기반으로 LLM‑주도 파이프라인을 통해 자동 생성한다. 5단계 추론 스키마와 앙상블 검증으로 질문·답변의 시각적 근거와 언어적 자연성을 확보했으며, 19 411장의 이미지·37 077개의 질문·185 385개의 답변(질문당 5개)으로 기존 베트남어 VQA 데이터보다 규모·다양성·품질이 크게 향상되었다.

상세 분석

본 논문은 저자들이 베트남어 VQA 연구에 필요한 대규모 고품질 데이터 부족 문제를 해결하기 위해 설계한 AutoViVQA 파이프라인을 상세히 제시한다. 첫 단계는 MS‑COCO 이미지와 VIST‑A에서 추출한 베트남어 캡션·대화 데이터를 결합해 시각‑언어 정합성을 확보하는 것이다. 이후 LLM(Gemini‑2.5 Flash)을 활용해 “제약‑기반 프롬프트”로 질문·답변을 자동 생성한다. 여기서 핵심은 5단계 추론 스키마(인식 → 공간·관계 → 구성 → 인과·상식 → 이미지 내 텍스트)로 질문의 인지 복잡도를 명시적으로 제어하고, 각 질문마다 5개의 독립적인 답변을 생성해 다중 주석 효과를 모방한다. 생성된 QA 쌍은 다중 모델(다양한 LLM 및 비전‑언어 모델)으로 평가하고, 사전 정의된 기준(시각적 근거, 언어 자연성, 추론 수준 일치 등)에 따라 임계값을 적용한 뒤 다수결 투표로 최종 필터링한다. 이 앙상블 검증은 인간 주석 없이도 노이즈와 근거 약화를 효과적으로 제거한다. 데이터 통계는 질문 유형 9가지와 답변 길이(1~10 토큰)로 구성돼, 기존 베트남어 VQA 데이터가 주로 Yes/No 혹은 짧은 단일 토큰에 머물렀던 점을 보완한다. 또한 표 1·2를 통해 AutoViVQA가 이미지 수·질문·답변 다양성·추론 수준 등에서 영어 VQA(v2, CLEVR) 및 베트남어 기존 데이터(ViVQA, OpenViVQA 등)를 능가함을 입증한다. 실험 부분에서는 PhoBERT와 ViT 기반 멀티모달 트랜스포머를 적용해 자동 평가 지표(BLEU, METEOR, CIDEr, F1 등)의 상관관계를 분석하고, 대규모 언어 모델을 활용한 평가가 인간 판단과의 정렬을 개선한다는 최신 연구와 연결한다. 전체적으로 데이터 구축 단계마다 재현 가능한 설계와 평가 프로토콜을 제공함으로써 저자들은 저자원 언어에서 멀티모달 학습을 확장할 수 있는 실용적인 청사진을 제시한다.