특징 생성으로의 패러다임 전환: CTR 예측 모델의 새로운 접근법

초록

기존 CTR 예측 모델은 원시 ID 임베딩 간의 특징 상호작용에 의존하는 판별적 패러다임을 따르며, 이로 인해 임베딩 차원 축소와 정보 중복 문제가 발생합니다. 본 연구는 이러한 문제를 해결하기 위해 ‘지도 특징 생성(SFG)’ 프레임워크를 제안합니다. SFG는 모든 특징을 입력으로 받는 인코더와 이를 바탕으로 모든 특징 임베딩을 재생성하는 디코더로 구성되며, 자기지도 손실 대신 클릭 여부라는 지도 신호를 활용합니다. 이 프레임워크는 기존 다양한 CTR 모델에 통합 가능하며, 실험을 통해 성능 향상과 문제점 완화를 입증했습니다.

상세 분석

본 논문은 CTR 예측 분야의 근본적인 패러다임 전환을 제안합니다. 기존 모델(FM, DeepFM, DCN-V2 등)의 핵심 연산인 ‘특징 상호작용’이 원시 ID 임베딩 간의 직접적인 내적/외적에 기반함으로써 발생하는 두 가지 구조적 문제(임베딩 차원 축소, 정보 중복)를 정확히 지적합니다. 저자들은 이 문제의 해결책을 ‘생성적 모델링’에서 찾았습니다. 핵심 아이디어는 CTR 데이터의 본질적 구조인 ‘특징 간 동시 발생 관계’를 ‘소스-타겟’ 관계로 재해석하는 것입니다. 구체적인 SFG 프레임워크의 설계는 다음과 같은 통찰을 담고 있습니다:

1. 인코더 설계: 단순한 필드별 단일층 비선형 MLP를 사용합니다. 이는 모든 특징 임베딩을 연결(concatenate)하여 각 특징의 새로운 잠재 표현을 생성합니다. 복잡한 구조가 아닌 최소한의 충분한 복잡도를 유지하는 설계 원칙을 따릅니다.
2. 디코더 설계: 인코더의 출력을 원본 공간으로 매핑합니다. 이때 사용하는 투영 행렬(W)의 형태(예: 대각 행렬, 완전 행렬)에 따라 FwFM, xDeepFM, FmFM, DCN-V2 등 기존 모델의 상호작용 함수를 생성 패러다임으로 재구성할 수 있습니다. 이는 SFG의 높은 일반화 가능성을 보여줍니다.
3. 지도 생성 손실: 생성 모델에 일반적인 자기지도 손실(예: 마스킹 복원) 대신 CTR 작업의 본질적인 지도 신호(클릭/비클릭)를 손실 함수로 직접 활용합니다. 이는 작업에 맞는 손실 함수 설계의 중요성을 강조합니다.
4. All-Predict-All 프레임워크: 하나의 인코딩된 특징 표현이 모든 타겟 특징을 동시에 생성합니다. 이는 순차적 생성(Next-token)이나 마스크 생성과 구분되는, CTR 데이터의 비순차적 특성에 적합한 독창적인 설계입니다. 이러한 접근법은 원시 임베딩 간의 직접적인 상호작용을 제거하여 차원 축소 이론(Interaction-Collapse Theory)을 근본적으로 회피하고, 인코더가 생성한 샘플별 표현이 원본 임베딩과 상관관계가 줄어듦으로써 정보 중복을 감소시킵니다.