다양한 그룹 선호를 맞춤형 광고 이미지로 구현하는 원 사이즈, 멀티 피트

초록

OSMF는 제품‑특화 적응형 사용자 그룹화를 통해 600 K개의 그룹을 자동 생성하고, 그룹‑인식 멀티모달 LLM(G‑MLLM)과 그룹‑DPO를 결합해 각 그룹별 클릭률(CTR)을 최적화한다. 새로 만든 GAIP 데이터셋을 기반으로 오프라인·온라인 실험에서 기존 CTR‑중심 모델을 크게 앞선다.

상세 분석

본 논문은 광고 이미지 생성에서 “전체 사용자에 대한 평균 CTR”만을 최적화해 온 기존 패러다임을 근본적으로 재고한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째 단계인 Product‑Aware Adaptive Grouping(PAAG)은 사용자 속성(성별, 연령, 지역 등)과 제품 메타데이터(카테고리, 브랜드, 가격 등)를 멀티모달 인코더(E_I, E_T)로 변환한 뒤, 교차‑주의(Cross‑Attention) 메커니즘을 통해 제품‑조건부 사용자 임베딩 e_u|c를 만든다. 이렇게 얻어진 임베딩을 제품별로 K‑Means 클러스터링하고, 실루엣 점수를 이용해 최적 K를 자동 선택한다. 클러스터 중심뿐 아니라 외곽 퍼센타일 포인트를 샘플링해 G_s,k = {μ_k}∪{p_j^k} 로 풍부한 그룹 표현을 구성함으로써, 동일 클러스터 내 미세한 선호 차이를 보존한다. 이는 정적인 사전 정의 그룹이 제품마다 다른 선호 구조를 반영하지 못하는 문제를 해결한다.

두 번째 단계인 Preference‑Conditioned Image Generation(PCIG)에서는 위에서 만든 그룹 토큰 e_G_s,k 를 멀티모달 대형 언어 모델(MLLM)에 앞에 삽입해 입력 시퀀스