다이얼렉트젠: 다중모달 생성 모델의 방언 강인성 평가와 개선

초록

본 논문은 영어의 지역 방언 여섯 가지를 대상으로 4,200개의 검증된 프롬프트를 구축한 DialectGen 벤치마크를 제시한다. 17개의 텍스트‑투‑이미지·비디오 모델을 평가한 결과, 방언 단어 하나만 바뀌어도 성능이 32 %‑48 % 감소한다는 사실을 밝혀냈다. 제안된 인코더 기반 완화 기법은 Stable Diffusion 1.5 등에서 방언 성능을 SAE 수준까지 회복시키면서 SAE 성능 손실을 거의 발생시키지 않는다.

상세 분석

DialectGen은 기존 연구가 주로 표준 미국식·영국식 영어에 국한된 점을 극복하고, 실제 사용자들이 사용하는 방언을 정량적으로 평가할 수 있는 최초의 대규모 벤치마크이다. 저자들은 Oxford English Dictionary Regional English Database, DARE, Singlish 사전 등 5개 사전을 활용해 1,126개의 방언 어휘를 수집하고, 의미가 동일하고 모호함이 없는 어휘쌍을 1126개 중 4200개의 프롬프트로 정제하였다. 특히, 각 프롬프트는 ‘간결형(≤6단어)’과 ‘상세형(≥9단어)’ 두 가지 스타일로 생성돼, 일반 사용자와 전문가 사용자의 입력 차이를 동시에 측정한다.

인간 검증 단계에서는 방언 화자를 직접 모집해 자체 방언 정체성을 확인하고, 퀴즈를 통해 정확히 한 방언에 매칭된 annotator만을 선정하였다. 두 명의 독립 annotator가 모두 “예”와 “아니오”를 일치시킨 경우에만 데이터셋에 포함시켜, 의미 동등성·비다의성·맥락 적합성을 엄격히 보장한다. 이 과정에서 전체 생성 프롬프트의 35.9 %가 제외돼, 최종 데이터셋의 품질이 매우 높다.

평가 메트릭은 VQAScore와 CLIPScore 같은 레퍼런스‑프리 이미지‑텍스트 정렬 점수를 자동화했으며, 5 % 샘플에 대해 0‑10 점 척도의 인간 평가를 추가해 자동 점수와 인간 판단 간 상관관계를 검증하였다. 결과는 대부분의 최신 모델(Stable Diffusion 3.5 Large, Flux.1, DALL·E 3 등)이 SAE 프롬프트에서는 높은 점수를 유지하지만, 방언 프롬프트에서는 평균 30 % 이상 성능 저하를 보인다는 점을 명확히 보여준다. 특히, 방언 어휘가 다중 의미(다의어)를 가질 경우, 모델은 SAE 의미에 편향해 잘못된 시각적 결과를 생성한다.

완화 전략으로 제안된 인코더 기반 학습은 두 단계로 구성된다. 첫째, 텍스트 인코더에 방언 어휘를 추가 학습시켜 방언-SAE 매핑을 명시적으로 학습한다. 둘째, 이미지‑SAE 캡션 데이터(MSCOCO)를 이용한 KL 정규화 손실을 도입해, 방언 학습이 전체 출력 분포를 왜곡하지 않도록 제어한다. 이 방법을 Stable Diffusion 1.5와 SDXL에 적용했을 때, 다섯 개 방언에 대한 성능이 평균 +34.4 % 상승했으며, SAE 기준 MSCOCO 검증셋에서의 성능 저하율은 1 % 미만으로 거의 제로에 가까웠다.

또한, 기존 완화 기법인 파인튜닝, 프롬프트 재작성, 데이터 증강 등을 비교했을 때, 모두 방언 성능 향상이 7 % 이하에 그치고 SAE 성능 손실이 발생하는 반면, 제안 방법은 방언·SAE 모두에서 균형 잡힌 성능을 유지한다는 점에서 실용성이 높다. 이 연구는 방언을 고려한 멀티모달 모델 설계가 필요함을 실증적으로 입증하고, 향후 다양한 언어·방언에 대한 확장 가능성을 제시한다.