필드 수준 경량 LLM 기반 CTR 예측 혁신

초록

본 논문은 대규모 텍스트 처리 비용을 피하기 위해 LLM을 ‘필드’ 수준에서 활용하는 LLaCTR 방식을 제안한다. 작은 수의 특성 필드에 대한 자기지도 파인튜닝으로 경량의 의미 임베딩을 얻고, 이를 기존 CTR 모델의 특성 임베딩과 상호작용 모듈에 주입한다. 실험 결과, 6가지 대표 CTR 모델에 적용했을 때 평균 2.24%의 AUC 향상과 기존 LLM‑enhanced 방법 대비 10‑100배 적은 학습·추론 비용을 달성하였다.

상세 분석

LLaCTR는 기존 LLM‑enhanced CTR 접근법이 겪는 “인스턴스·유저/아이템 수준”의 고비용 문제를 ‘필드 수준’이라는 새로운 차원으로 전환한다. 필드는 CTR 데이터에서 카테고리(예: 사용자 연령, 아이템 가격)와 같이 의미적으로 묶인 특성 그룹을 의미한다. 필드 수는 일반적으로 수백 수준에 불과하므로, LLM에 입력되는 텍스트 양이 크게 감소한다.

핵심 기술은 두 단계로 구성된다. 첫 번째는 **Self‑Supervised Field‑Feature Fine‑Tuning (SSFT)**이다. 여기서는 LLM에게 “이 특성은 어느 필드에 속하는가?”라는 질문을 제시하고, 정답 필드 설명을 생성하도록 학습한다. 프롬프트‑응답 쌍을 자동으로 생성해 언어 생성 손실과 대비 손실(contrastive loss)을 동시에 최적화한다. 생성 손실은 LLM이 필드 의미를 정확히 서술하도록 하고, 대비 손실은 특성‑필드 임베딩 간 코사인 유사도를 높여 의미적 정렬을 강화한다. 이 과정은 필드 수가 적고 샘플링된 특성만 사용하므로 파인튜닝 비용이 매우 낮다.

두 번째는 **Field Semantic‑guided Enhancement (FRE & FIE)**이다. 파인튜닝된 LLM으로부터 얻은 필드 의미 임베딩을 두 가지 방식으로 기존 CTR 모델에 주입한다. ① Feature Representation Enhancement (FRE): 필드 임베딩을 특성 임베딩과 정렬시키는 추가 손실을 도입해, 의미가 풍부한 초기화된 특성 벡터를 학습한다. 이는 특히 범주형·다중값 특성에서 ID 기반 임베딩이 놓치는 의미적 연관성을 보완한다. ② Feature Interaction Enhancement (FIE): 필드 임베딩을 전용 네트워크에 통과시켜 필드‑간 상호작용 행렬을 생성하고, 이를 기존 FM·DeepFM·WDL 등에서 사용하는 상호작용 모듈에 결합한다. 이렇게 하면 “사용자 소득‑아이템 가격”처럼 의미적 연관성이 높은 필드 쌍에 대한 상호작용 가중치를 사전에 강화할 수 있다.

실험에서는 Amazon Video Games, MovieLens‑1M 등 네 개 데이터셋에 대해 DeepFM, FM, FiBiNet, xDeepFM, DCN, AutoInt 등 여섯 모델에 LLaCTR를 플러그인 형태로 삽입하였다. 결과는 평균 AUC 2.24% 상승을 보였으며, 기존 LLM‑enhanced 방법(KAR, LLM‑CF, CTRL, EASE) 대비 학습 시간은 10배~100배 단축되었다. 특히, 필드 수가 200개 이하인 상황에서 비용 효율성이 크게 드러났으며, 필드 설명이 풍부할수록 성능 향상이 뚜렷했다.

이 논문은 “LLM을 언제, 어떻게 활용할 것인가”라는 실용적 질문에 답을 제시한다. 대규모 텍스트 인코딩이 불가능한 실시간 서비스 환경에서도, 사전 파인튜닝된 경량 의미 임베딩을 통해 LLM의 장점을 유지하면서도 비용을 최소화한다는 점이 가장 큰 공헌이다. 또한, 필드 수준 의미를 명시적으로 모델에 전달함으로써 전통적인 CTR 모델이 갖는 “의미 정보 손실”을 구조적으로 보완한다는 점에서 학계·산업 모두에게 의미 있는 방향성을 제공한다.