가족 편향을 드러내고 해결하는 비전‑언어 모델 앙상블

본 논문은 비전‑언어 모델(VLM) 앙상블이 현재 베스트 프랙티스로 자리 잡고 있지만, 동일 건축적 가족에 속한 모델들 사이에 존재하는 오류 상관관계가 무시되고 있음을 지적한다. 17개의 최신 VLM을 8개의 가족(예: Qwen2.5‑VL, Qwen3‑VL, InternVL, Molmo, Phi‑4, LLaVA, Pixtral, Idefics)으로 분류하고, VQA v2(20 001문제), TextVQA(5 000문제), GQA(12 578문제) 세 벤치마크에 동일하게 적용해 전반적인 정확도와 오류 패턴을 측정하였다. **1. 가족 구조 분석** - Pearson 상관계수 기반 오류 상관 행렬을 구축한 결과, 동일 가족 내 모델 간 상관(r≈0.67±0.12)은 가족 간(r≈0.53±0.07)보다 유의하게 높았다(p<0.001). - 고유값 분석을 통해 전체 분산의 58%가 첫 번째 주성분에, 75%가 상위 5개 성분에 집중돼 ‘효과적 차원’이 2.86에 불과함을 확인했다. 즉, 17개의 모델이 실제로는 약 3개의 독립 투표자 수준의 정보만 제공한다는 의미다. - ‘Misleading’ 티어를 정의해 전체 질문 중 1.5‑6.5%가 이 구역에 속함을 발견했다. 여기서는 최우수 모델이 정답을 제시하지만, 동일 가족 모델들의 집단 오류가 다수결을 뒤집어 정확도가 0%에 수렴한다. **2. 기존 앙상블 방법과 한계** - 단순 다수결, 보정 투표(모델 정확도 기반 로그오즈 가중치), 중복 제거(가족당 최고 모델만 사용) 등을 비교했으며, 보정 투표가 가장 높은 성능을 보였지만 여전히 ‘Misleading’ 구역에서 0% 정확도를 기록했다. - 오라클(질문당 최적 모델 선택)과의 격차는 VQA v2에서 8.8%, TextVQA에서 19.4%, GQA에서 8.3%에 달했으며, 보정 투표가 포착한 격차는 4.7%에 불과했다. **3. 제안 방법** ① **계층형 가족 투표(HFV)** - 단계 1: 각 가족 내부에서 보정 투표를 수행해 가족별 대표 답을 도출한다. - 단계 2: 가족별 로그오즈 정확도(가족 내부 보정 투표 정확도)로 가중치를 부여해 최종 투표한다. - HFV‑sharp은 교차‑가족 가중치를 α>1로 제곱해 강한 가족의 영향력을 확대하고, HFV‑auto는 5‑폴드 교차 검증으로 α와 최소 품질 임계값 τ를 자동 선택한다. - 실험 결과, VQA v2에서 87.08%(+0.38% p=0.0002), GQA에서 64.27%(+0.25% p=0.087)를 달성했다. 특히 Misleading 티어에서 평균 22 pp 이상의 회복 효과를 보였다. ② **품질‑가중 중복 보정 투표(QualRCCV)** - 각 모델 가중치 w_m에 (|F(m)|)^‑ρ(가족 규모 역비례)와 q_f^γ(가족 최고 정확도 기반 품질 가중치)를 곱한다. - ρ=0.4, γ=1.0을 기본값으로 사용했으며, 모든 벤치마크에서 보정 투표보다 유의미하게 높은 정확도를 기록했다(p<0.05). ③ **학습 기반 후보 점수(LCS)** - 후보 답마다 ‘지원 폭’, ‘가족 다양성’, ‘지원자 품질’ 세 특징을 추출하고, 5‑폴드 교차 검증으로 로지스틱 회귀(또는 경량 트리) 모델을 학습한다. - 테스트 시점에 후보 점수를 재정렬해 최종 답을 선택한다. - VQA v2에서 +0.68% (p<0.0001), TextVQA에서 +0.61% (p<0.0001), GQA에서 +2.45% (p<0.0001) 향상을 달성했으며, 어느 벤치마크에서도 성능 저하가 전혀 없었다. VQA v2 테스트‑스탠다드(EvalAI)에서는 12개 모델으로 87.83% 정확도를 기록, 제안 방법의 일반화 가능성을 입증했다. **4. 추가 실험 및 분석** - 스펙트럴 클러스터링을 이용해 오류 상관 행렬 기반으로 무감독 군집을 수행했으며, k=8일 때 실제 건축적 가족과 높은 일치도(ARI=0.42, NMI=0.82)를 보였다. k를 늘리면 서브‑패밀리(예: Qwen2.5 규모별)까지도 탐지 가능했다. - ‘가족 구조 존재’ 조건(ρ_w‑ρ_b>0), ‘모든 가족이 무작위보다 우수’ 조건(min_f P_f>0.5), ‘가족 규모 불균형’ 조건이 모두 만족될 때 HFV가 평면 투표보다 확실히 우수함을 이론적으로 증명했다. **5. 결론** 본 연구는 VLM 앙상블에서 간과되던 ‘가족 편향’이라는 새로운 오류 구조를 체계적으로 규명하고, 이를 정량화·시각화함으로써 기존 다수결 기반 방법의 한계를 명확히 드러냈다. 제안된 HFV, QualRCCV, LCS는 각각 구조적, 품질‑가중, 학습 기반 접근으로 가족 상관을 보정하며, 실험 전반에 걸쳐 일관된 성능 향상을 입증한다. 특히 LCS는 학습 기반이면서도 어느 벤치마크에서도 성능 저하가 없다는 점에서 실무 적용 가능성이 높다. 향후 연구는 더 큰 모델 풀, 동적 가족 탐지, 비용‑효율 트레이드오프 등을 고려한 확장형 프레임워크 개발로 이어질 수 있다.