“GMAIL: 생성 이미지와 실제 이미지의 ‘다른 차원’ 교차 정렬로 비전‑언어 모델을 한 단계 끌어올리다”

📝 Abstract

Generative models have made it possible to synthesize highly realistic images, potentially providing an abundant data source for training machine learning models. Despite the advantages of these synthesizable data sources, the indiscriminate use of generated images as real images for training can even cause mode collapse due to modality discrepancies between real and synthetic domains. In this paper, we propose a novel framework for discriminative use of generated images, coined GMAIL, that explicitly treats generated images as a separate modality from real images. Instead of indiscriminately replacing real images with generated ones in the pixel space, our approach bridges the two distinct modalities in the same latent space through a multi-modal learning approach. To be specific, we first fine-tune a model exclusively on generated images using a cross-modality alignment loss and then employ this aligned model to further train various vision-language models with generated images. By aligning the two modalities, our approach effectively leverages the benefits of recent advances in generative models, thereby boosting the effectiveness of generated image learning across a range of vision-language tasks. Our framework can be easily incorporated with various vision-language models, and we demonstrate its efficacy throughout extensive experiments. For example, our framework significantly improves performance on image captioning, zero-shot image retrieval, zero-shot image classification, and long caption retrieval tasks. It also shows positive generated data scaling trends and notable enhancements in the captioning performance of the large multimodal model, LLaVA.

💡 Analysis

**

1. 연구 배경 및 문제 정의

• 생성 이미지의 잠재력: Diffusion·GAN 등 최신 생성 모델은 실제와 구분하기 어려운 이미지를 대량 생산할 수 있어 데이터 비용을 크게 절감한다.
• 모달리티 격차: 생성 과정에서 발생하는 미세한 아티팩트, 편향, 도메인‑특정 노이즈는 픽셀 수준뿐 아니라 고차원 의미 표현까지 영향을 미친다. 이 격차가 그대로 학습에 투입되면 모드 붕괴(real‑world 일반화 저하) 현상이 발생한다.
• 기존 연구(Tian et al., 2024 등)는 생성 이미지를 실제 이미지와 혼합하는 방식만 제시했으며, 모달리티 차이를 정량·정성적으로 해결하지 못한다.

2. 핵심 아이디어 – “생성 이미지 = 별도 모달리티”

• 모달리티 구분: 생성 이미지를 ‘Gen‑Modality’, 실제 이미지를 ‘Real‑Modality’로 명시적으로 구분한다.
• 잠재공간 정렬: 동일 텍스트 설명을 가진 실·생 이미지 쌍을 같은 라티스(latent) 위치에 매핑하도록 Cross‑Modality Alignment Loss를 설계한다. 이는 기존 CLIP의 contrastive loss에 Gen‑Real 간 교차 정렬 항목을 추가한 형태다.
• 두 단계 학습
  1. Gen‑CLIP: 사전 학습된 CLIP(Real‑Modality) 파라미터는 고정하고, LoRA 기반 경량 어댑터를 이용해 생성 전용 모델을 미세조정한다.
  2. 통합 학습: 정렬된 Gen‑CLIP을 백본으로 사용해 다양한 Vision‑Language 모델을 생성 이미지로 추가 학습한다. 실 이미지에 대한 추론 시에는 원본 CLIP을 그대로 사용한다(모달리티 혼합 방지).

3. 방법론적 강점

4. 실험 및 결과

• 벤치마크: COCO 캡셔닝, Flickr30k·COCO 제로샷 이미지 검색, 8개 데이터셋 제로샷 이미지 분류, ShareGPT4V 장문 캡션 검색 등.
• 성능 향상: 대부분의 과제에서 5‑15% 수준의 절대적 개선을 기록(구체적 수치는 논문 표 참고).
• 스케일링: COCO, CC3M, CC12M 등 대규모 생성 데이터셋을 확대할수록 성능이 점진적으로 상승하는 추세를 확인, 이는 정렬이 데이터 규모에 강건함을 의미한다.
• 대형 모델 적용: LLaVA에 GMAIL을 적용했을 때 캡션 품질이 눈에 띄게 개선돼, 생성 데이터와 대형 멀티모달 모델 간 시너지 가능성을 입증했다.

5. 한계 및 비판적 고찰

1. 정렬 비용: Cross‑Modality Alignment Loss를 계산하기 위해 실·생 이미지 쌍을 매칭해야 하는데, 대규모 데이터에서는 쌍 매칭 비용이 증가한다.
2. 텍스트 의존성: 정렬은 동일 텍스트 설명을 전제로 하므로, 텍스트 품질이 낮거나 불일치할 경우 정렬 효과가 감소할 수 있다.
3. 모달리티 내부 다양성: 생성 이미지 자체도 다양한 스타일·도메인을 포함하는데, 현재는 **단일 ‘생성 모달리티’**로 취급한다. 향후 스타일별 서브모달리티 정렬이 필요할 수 있다.
4. 실제 적용 시나리오: 실시간 시스템에 LoRA‑adapted 모델을 적용할 때 추론 지연이 발생할 가능성이 있다(특히 대규모 LLM 연동 시).

6. 향후 연구 방향

• 다중 서브모달리티 정렬: 스타일·도메인 별로 별도 정렬 어댑터를 학습해 더욱 세밀한 교차 정렬 구현.
• 자동 텍스트 정제: LLM을 활용해 생성 이미지와 매칭되는 고품질 텍스트를 자동 생성·정제하는 파이프라인 구축.
• 효율적인 쌍 매칭: 대규모 데이터에서 approximate nearest neighbor 기반의 빠른 실·생 이미지 매칭 알고리즘 개발.
• 멀티태스크 정렬: 이미지 캡션 외에도 객체 검출, 세그멘테이션 등 다양한 비전 태스크와의 정렬을 동시에 학습하는 멀티태스크 프레임워크 탐색.

**

📄 Content

생성 모델, 예를 들어 GAN(Goodfellow et al., 2020; Chen et al., 2016)과 확산 모델(Song et al., 2021a; Dhariwal & Nichol, 2021; Rombach et al., 2022)은 매우 현실적인 이미지를 합성할 수 있게 함으로써 컴퓨터 비전 분야에 혁신을 일으켰습니다. 이러한 생성된 이미지는 풍부하고 확장 가능한 데이터 소스를 제공하여 학습 데이터셋을 크게 보강하고, 데이터 다양성을 향상시키며, 비용이 많이 드는 실제 데이터 수집에 대한 의존도를 낮출 수 있습니다. 그러나 그 잠재력에도 불구하고, 생성된 이미지를 직접 학습 파이프라인에 통합하는 것은 생성 이미지와 실제 이미지 사이에 내재된 모달리티 불일치 때문에 상당한 어려움을 동반합니다. 이러한 불일치는 종종 모드 붕괴(mode collapse)(LeCun, 2022) 현상을 초래하는데, 이는 모델이 생성된 콘텐츠에 과도하게 의존하면서 실제 상황에 일반화되지 못해 성능이 급격히 저하되는 현상입니다. 따라서 먼저 생성‑실제(Gen‑Real) 모달리티 불일치 문제를 해결하는 것이 필수적입니다.

기존 접근법(Tian et al., 2024)은 생성 이미지를 학습 과정에 통합하지만, 생성 이미지와 실제 이미지 사이의 모달리티 격차를 충분히 다루지 못합니다. 그 결과 모델은 합성 데이터의 특이성에 과도하게 적합(overfit)하게 되어, 실제 데이터를 마주했을 때 다양한 다운스트림 작업에서 성능이 크게 저하됩니다. 이 붕괴의 근본 원인은, 현실감이 뛰어나더라도 생성 이미지는 실제 이미지와 미묘하지만 중요한 차이를 보이는 별개의 데이터 모달리티라는 점을 인식하지 못한 데 있습니다. 이러한 모달리티 격차를 해소하는 것이 생성 데이터의 잠재력을 최대한 활용하면서 실제 작업에서도 견고한 성능을 유지하는 데 핵심이 됩니다.

생성 이미지를 사용하는 데 따른 어려움은 생성 데이터와 실제 데이터의 분포 차이에 기인합니다. 시각적으로 설득력 있어 보이더라도, 생성 이미지는 종종 미세한 아티팩트, 편향, 혹은 도메인 특유의 노이즈를 포함합니다. 이러한 차이는 단순히 시각적인 수준에 머물지 않고, 고차원 의미 표현에도 영향을 미쳐 특징 공간(feature space)에서의 정렬이 깨지고, 이는 학습 파이프라인 전반에 걸쳐 전파됩니다. 또한, 생성 모델은 학습 데이터에 존재하는 편향을 무의식적으로 포착하고 증폭시켜, 합성 이미지가 실제 분포와 예상치 못한 방식으로 차이 나게 만들 수 있습니다. 이러한 모달리티 격차는 다운스트림 작업에서 큰 장애물이 되며, 모델은 정렬되지 않은 데이터에 과적합(overfitting)하고, 견고성이 떨어지며, 실제 이미지에 적용될 때 성능이 크게 저하됩니다. 따라서 생성 모델의 장점을 활용하면서도 모델 신뢰성을 해치는 함정을 피하려면 이 격차를 메우는 것이 필수적입니다.

이 문제를 해결하기 위해 우리는 Generative Modality Alignment for generated Image Learning(GMAIL)이라는 새로운 프레임워크를 제안합니다. GMAIL은 생성 이미지를 실제 이미지와 별개의 모달리티로 명시적으로 취급합니다. 기존에 생성 이미지와 실제 이미지를 무차별적으로 섞어 학습하던 방식과 달리, 우리 접근법은 동일한 텍스트 설명을 가진 생성 이미지와 실제 이미지를 잠재 공간(latent space)에 함께 임베딩함으로써 두 모달리티를 연결합니다. 구체적으로, 우리는 생성 이미지에만 초점을 맞춘 모델을 **교차 모달리티 정렬 손실(cross‑modality alignment loss)**을 사용해 미세 조정하고, 실제 이미지용 사전 학습된 모델은 그대로 유지합니다. 이렇게 하면 두 모달리티 간의 명시적이고 적응적인 정렬이 가능해지며, 정렬된 모델을 활용해 다양한 비전‑언어 모델(Radford et al., 2021; Liu et al., 2023; Zhang et al., 2024)을 고도로 현실적인 생성 이미지와 함께 학습시킬 수 있습니다. 결과적으로 최신 생성 모델(Rombach et al., 2022)의 장점을 충분히 활용하면서, 생성 이미지 학습의 성능을 다양한 비전‑언어 작업 전반에 걸쳐 향상시킬 수 있습니다.

광범위한 실험을 통해 우리는 LLaVA(Liu et al., 2023)와 같은 여러 비전‑언어 모델에 GMAIL을 적용했을 때의 효과를 입증했습니다. 예를 들어, 우리의 접근법은 COCO(Lin et al., 2014) 이미지 캡셔닝, COCO 및 Flickr30k(Lin et al., 2014; Young et al., 2014)에서의 제로샷 이미지 검색, 8개의 널리 사용되는 데이터셋에 대한 제로샷 이미지 분류, 그리고 ShareGPT4V(Chen et al., 2024)에서의 장문 캡션 검색 성능을 모두 크게 향상시켰습니다. 또한, COCO, CC3M(Sharma et al., 2018), CC12M(Changpinyo et al., 2021) 등 다양한 데이터셋에 걸쳐 생성 데이터 스케일링 트렌드가 긍정적으로 나타났으며, 이는 우리 방법이 데이터 양이 증가함에 따라 지속적으로 성능을 개선한다는 점을 강조합니다. 특히, 최근 대형 멀티모달 모델인 LLaVA의 캡셔닝 성능도 향상시켜, GMAIL이 다양한 모델과 폭넓게 호환됨을 보여줍니다.

주요 기여

• 새로운 프레임워크 제시: 생성 이미지를 별개의 모달리티로 명시적으로 취급하고, 실제 이미지와 동일한 잠재 공간에 정렬함으로써 연구자들이 고품질 생성 이미지를 효과적으로 활용할 수 있게 했습니다.
• 광범위한 벤치마크에서 검증: 이미지 캡셔닝, 제로샷 이미지 검색, 제로샷 이미지 분류 등 다양한 비전‑언어 벤치마크에서 프레임워크의 효율성을 입증했으며, 최신 대형 멀티모달 모델인 LLaVA와의 호환성도 확인했습니다.
• 생성 데이터 스케일링 탐색: 대규모 생성 데이터셋을 이용한 실험을 통해, 학습 데이터 양이 증가할수록 성능이 일관되게 향상되는 스케일링 트렌드를 보여주었습니다.

확산 모델(Diffusion Models)

확산 모델(Ho et al., 2020; Song et al., 2021b;a)은 고품질 이미지를 생성할 수 있는 강력한 생성 모델 군으로, 실제 이미지 분포를 매우 가깝게 모방합니다. 대표적인 사례로는 Stable‑Diffusion(Rombach et al., 2022), DreamBooth(Ruiz et al., 2023; 2024), 그리고 DALL‑E 시리즈(Ramesh et al., 2021; 2022; Betker et al., 2023)가 있습니다. 이들 모델은 텍스트 설명으로부터 다양한 복잡한 이미지를 생성하는 데 뛰어난 성과를 보여주었으며, 고급 확산 과정을 통해 노이즈를 점진적으로 정제함으로써 섬세한 디테일과 현실감 있는 출력을 얻습니다. 본 연구에서는 이러한 확산 모델을 활용해 텍스트 설명으로부터 이미지를 생성하고, 이를 GMAIL 프레임워크를 통해 실제 이미지 모달리티와 정렬함으로써, 합성 이미지 생성과 실용적인 머신러닝 응용 사이의 격차를 메우고자 합니다. 이는 단순히 콘텐츠를 생성하는 수준을 넘어, 생성 이미지를 직접 모델 학습에 투입해 실제 성능을 향상시키는 새로운 기여라 할 수 있습니다.

생성 이미지 학습(Generated Image Learning)

생성 이미지 학습은 합성 데이터를 전통적인 학습 패러다임에 보강재로 활용하려는 연구가 활발히 진행되고 있습니다. Syn‑CLR(Tian et al., 2024)는 합성 데이터를 이용해 시각 표현을 사전 학습하는 자기지도 학습 프레임워크를 제안했으며, 생성 데이터만으로도 실제 데이터와 경쟁력 있는 결과를 얻을 수 있음을 보여주었습니다. 그러나 여기서 가장 큰 도전은 모드 붕괴 문제입니다. 적절한 정렬 없이 합성 데이터에 과도하게 의존하면, 실제 작업에 적용했을 때 성능이 급격히 저하됩니다. 최근 연구(Shumailov et al., 2024)는 재귀적으로 생성된 데이터에 기반한 학습이 오류를 증폭시켜 일반화 능력을 손상시킬 위험성을 강조합니다. 우리의 연구는 이러한 문제를 직접 해결하기 위해, 생성 이미지를 별개의 모달리티로 취급하고 실제 이미지와 동일한 잠재 공간에 정렬하는 새로운 전략을 제시합니다. 이 접근법은 모드 붕괴 위험을 완화하고, 생성 이미지와 실제 이미지가 같은 공간에 존재함으로써 견고성을 크게 향상시킵니다.

또한, 고품질 라벨링된 데이터셋 생성에 대한 시도(Zhang et al., 2021; Ye et al., 2024; Wu et al., 2023)도 존재하지만, 이들 연구는 주로 이미지 분할 작업을 위한 마스크 라벨 생성에 초점을 맞추었습니다. 반면 우리는 합성 데이터를 활용해 비전‑언어 모델을 추가 학습시킬 때 발생하는 모달리티 격차를 메우는 데 중점을 두어, 합성 도메인에 대한 과도한 의존을 완화하고자 합니다.

비전‑언어 모델(Vision‑Language Models)

비전‑언어 모델, 예를 들어 CLIP(Radford et al., 2021)은 이미지와 텍스트를 대조 학습(contrastive learning)으로 공동 표현을 학습함으로써 크로스모달 이해에 혁신을 가져왔습니다. 이러한 모델은 대규모 실제 데이터에서 뛰어난 성능을 보이지만, 생성 이미지로 학습할 경우 모달리티 격차 때문에 성능이 저하됩니다. 이를 극복하기 위해 최근에는 다양한 정렬 기법이 제안되었습니다. 예를 들어 Long‑CLIP(Zhang et al., 2024)은 더 긴 캡션을 통합해 서술적 텍스트 처리 능력을 강화했으며, LLaVA(Liu et al., 2023)는 대규모 데이터를 활용해 시각 질문 응답, 캡셔닝 등 멀티모달 작업을 수행할 수 있음을 보여주었습니다. 우리의 작업은 이러한 선행 연구들을 기반으로 Gen‑Real 정렬 프레임워크를 도입해, 생성 데이터를 사용할 때 발생하는 모달리티 불일치를 명시적으로 해결합니다. 생성 이미지를 실제 이미지와 동일한 잠재 공간에 정렬하고, 이를

이 글은 AI가 자동 번역 및 요약한 내용입니다.