캠페인 2 PT RAG 대규모 캠페인 순위화를 위한 LLM 기반 제품 유형 매핑

초록

본 논문은 창의적인 마케팅 캠페인 텍스트와 구조화된 제품 유형(PT) 카탈로그 사이의 의미 격차를 메우기 위해 LLM‑기반 해석, 의미 검색, 그리고 단계적 관련성 분류를 결합한 Campaign‑2‑PT‑RAG 프레임워크를 제안한다. 이를 통해 캠페인‑PT 매핑을 자동화하고, 매핑된 PT와 사용자의 구매 이력을 교차하여 고품질의 사용자‑캠페인 라벨을 생성함으로써 대규모 캠페인 순위 모델 학습에 필요한 감독 데이터를 효율적으로 확보한다. 실험 결과 정밀도 78‑90%·재현율 99% 이상을 달성하였다.

상세 분석

Campaign‑2‑PT‑RAG는 크게 네 단계로 구성된다. 첫 번째 단계는 LLM을 활용한 캠페인 해석이다. 기존 검색 기반 방법은 캠페인 문구에 포함된 은유·감성·상황적 단어를 그대로 벡터화해 의미 손실이 발생하지만, 본 연구는 GPT‑계열 모델에 “캠페인의 핵심 의도와 잠재적 제품군을 서술하라”라는 프롬프트를 제공해, 명시적·암시적 의미를 모두 포함한 자연어 요약 s₍c₎ 을 생성한다. 이 요약은 이후 검색 단계에서 쿼리로 사용되어, 단순 키워드 매칭보다 풍부한 의미 공간을 형성한다.

두 번째 단계는 의미 검색이다. 제품 유형(T) 각 노드는 “카테고리 | 패밀리 | 타입” 형태의 텍스트를 결합해 임베딩하고, FAISS 기반의 대규모 ANN 인덱스로 7 147개의 PT를 빠르게 검색한다. 코사인 유사도가 사전 정의된 낮은 임계값 τ (높은 재현율 목표) 이상인 모든 PT를 후보 집합 R(c) 에 포함한다. 여기서 중요한 점은 재현율을 우선시해 과도한 후보를 허용함으로써 이후 단계에서 정밀도를 회복한다는 전략이다.

세 번째 단계는 선택적 교차 인코더 재랭킹이다. 후보 PT와 원문 캠페인 텍스트를 쌍으로 입력해 BERT‑계열 교차 인코더가 정밀한 상호작용 점수를 산출한다. 이 단계는 계산 비용이 추가되지만, 후보 집합을 의미적으로 더 정렬된 순서로 재배열해 LLM‑분류기의 입력 효율을 높인다. 실제 배포에서는 latency 요구에 따라 생략 가능하도록 설계되었다.

네 번째이자 핵심 단계는 LLM‑기반 관련성 분류다. 각 후보 PT t 에 대해 “캠페인 요약 s₍c₎ 와 PT t 의 관계를 강하게 관련, 약하게 관련, 무관 중 하나로 판단하라”는 프롬프트를 제공한다. 모델은 제품 계층 구조(카테고리 → 패밀리 → 타입)를 고려해, 예를 들어 “대형 화면 TV” 캠페인에서 “벽면 마운트”는 약하게 관련, “무선 헤드폰”은 무관으로 판단한다. 이렇게 강·약 관련 PT만을 집합 PT(c) 에 포함시켜 최종 매핑을 만든다.

라벨 생성은 간단히 사용자의 구매 PT 집합 Pᵤ와 PT(c) 의 교집합이 존재하면 yᵤ,₍c₎ = 1, 아니면 0으로 정의한다. 따라서 매핑 정확도가 라벨 품질을 직접 좌우한다. 실험에서는 내부 라벨링 팀이 만든 전문가 어노테이션을 기준으로, LLM‑보조 파이프라인이 기존 BM25·Dense Retrieval 대비 정밀도 15‑20%p, 재현율 5%p 향상을 보였으며, 전체 라벨링 비용을 90% 이상 절감했다.

이 논문의 주요 기여는 (1) 캠페인‑제품 매핑이라는 새로운 문제 정의, (2) LLM‑해석 + 다단계 검색 + LLM‑분류라는 통합 프레임워크, (3) 실무 환경에서 99% 이상의 재현율을 유지하면서 라벨링 자동화를 입증한 점이다. 또한, 제품 유형이라는 구조화된 지식을 활용해 LLM이 추론 과정을 투명하게 만들고, 라벨 품질을 인간 평가와 높은 상관관계로 검증함으로써 신뢰성을 확보했다. 향후 연구는 멀티모달 캠페인 이미지·영상 정보를 텍스트와 결합한 멀티모달 RAG, 그리고 라벨 불확실성을 모델링해 순위 학습에 직접 반영하는 방법을 탐색할 수 있다.