인터시놈: 대규모 고품질 인터리브 이미지‑텍스트 데이터셋과 신뢰성 평가 프레임워크

초록

InterSyn은 180만 개의 이미지‑텍스트 쌍을 포함한 대규모 데이터셋으로, 자체 평가와 반복 정제를 결합한 SEIR 파이프라인으로 품질을 보장한다. 다채로운 3,500개 토픽 계층과 인간 선호 기반 질문 템플릿을 통해 풍부한 지시성을 제공한다. 평가자는 SynJudge라는 자동 메트릭을 제시하며, 텍스트·이미지 내용 완전성, 이미지 품질, 그리고 양방향 시너지(ITS)를 정량화한다. 실험에서는 25K‑50K 샘플만으로도 성능 향상이 나타났으며, 100K‑200K 규모로 확장할 경우 특히 이미지‑텍스트 시너지 점수가 크게 상승한다.

상세 분석

InterSyn 논문은 현재 LMM(Large Multimodal Model)들이 직면한 “인터리브” 이미지‑텍스트 생성 한계를 데이터 측면에서 정확히 짚어낸다. 기존 멀티모달 데이터셋은 (1) 규모가 작아 실제 서비스 시나리오를 포괄하지 못하고, (2) 웹 크롤링 기반이라 품질 변동이 심하며, (3) 지시형 질문이 제한적이라 모델이 복합적인 인터랙션을 학습하기 어렵다. 이를 해결하기 위해 저자들은 세 가지 핵심 설계 원칙을 제시한다.

첫째, 대규모: 1.8 M개의 멀티모달 샘플을 수집했으며, 이미지와 텍스트가 짝을 이루는 형태뿐 아니라, 텍스트 내에 이미지 삽입 위치를 명시하는 “interleaved” 구조를 명시적으로 포함한다. 데이터는 3,500개의 토픽을 7단계 계층으로 조직한 질문 템플릿을 기반으로 생성돼, 다양한 도메인(과학, 예술, 일상 등)과 복합적인 대화 흐름을 포괄한다.

둘째, 고품질: SEIR(Self‑Evaluation with Iterative Refinement) 파이프라인을 도입했다. 초기 샘플은 LLM 기반 자동 생성기로 만든 뒤, 사전 훈련된 멀티모달 평가 모델이 텍스트 일관성, 이미지 적합성, 시각적 디테일을 점수화한다. 점수가 기준 이하인 경우, 피드백을 텍스트 프롬프트와 이미지 재생성 파라미터에 반영해 반복적으로 개선한다. 이 과정은 3~5회 반복되며, 최종적으로 인간 검증자 2% 샘플에 대해 92% 이상의 정확도를 달성한다는 실험 결과를 제시한다.

셋째, 지시 다양성: 인간 설문을 통해 “어떤 질문이 가장 자연스러운 대화 흐름을 유도하는가”를 조사하고, 이를 토대로 1,200개의 질문 템플릿을 설계했다. 각 템플릿은 “설명 → 이미지 요청 → 추가 설명”과 같은 다단계 구조를 갖추며, 토픽별 변형을 자동 생성해 데이터 다양성을 극대화한다.

평가 측면에서는 SynJudge라는 자동 메트릭을 제안한다. 기존 이미지‑텍스트 평가가 단일 차원(예: CLIPScore)에 머무는 반면, SynJudge는 네 가지 서브스코어를 산출한다. TCC(Text Content Completeness)는 텍스트가 질문 의도를 완전하게 반영했는지, ICC(Image Content Completeness)는 이미지가 텍스트에서 요구한 시각 정보를 담고 있는지를 판단한다. IQ(Image Quality)는 해상도, 노이즈, 색 재현 등을 객관적으로 측정하고, ITS(Image‑Text Synergy)는 텍스트와 이미지 간 의미적 일관성을 CLIP 기반 교차 엔코더로 정량화한다. 인간 평가와의 상관관계는 r = 0.87로, 기존 메트릭 대비 현저히 높은 일치도를 보인다.

실험에서는 InterSyn의 서브셋(25K, 50K, 100K, 200K)을 사용해 Janus‑Pro와 같은 최신 통합 LMM을 파인튜닝했다. 결과는 규모에 따라 선형적으로 개선되었으며, 특히 100K 이상에서는 ITS 점수가 15% 상승해 “이미지‑텍스트 시너지”가 크게 강화됨을 확인했다. 또한, 25K‑50K 수준에서도 TCC와 ICC가 각각 8%·6% 상승해, 데이터 효율성이 뛰어남을 입증한다.

한계점으로는 (1) SEIR이 현재는 텍스트‑이미지 쌍에만 적용 가능해, 비디오·오디오 등 다른 모달에 확장하기엔 추가 연구가 필요하고, (2) 자동 평가 모델 자체가 편향을 내포할 가능성이 있어 인간 검증 비율을 늘려야 한다는 점을 언급한다. 윤리적 고찰에서는 저작권이 명확한 이미지 소스와, 민감 주제(폭력·성적 내용) 필터링 정책을 상세히 기술한다.

전반적으로 InterSyn은 데이터 규모·품질·지시 다양성이라는 세 축을 동시에 만족시키며, LMM의 인터리브 생성 능력을 체계적으로 끌어올릴 수 있는 토대를 제공한다.