스케일 가능한 광고 클릭률 예측을 위한 마스크 기반 저랭크 교차 네트워크

초록

본 논문은 Pinterest 광고 CTR 예측에서 기존 DCNv2와 MaskNet을 확장했을 때 발생하는 수렴 한계를 극복하고자, 저랭크 교차 레이어에 인스턴스‑조건부 마스크를 결합한 ML‑DCN 구조를 제안한다. 동일 FLOPs 조건에서 AUC를 향상시키고, 컴퓨팅 비용을 크게 늘리지 않으면서도 높은 차수의 피처 교차를 모델링한다. 오프라인 실험과 대규모 온라인 A/B 테스트 결과, CTR 1.89% 상승 및 클릭 품질 지표 개선을 확인했으며, 서비스 비용은 기존 시스템과 동일하게 유지된다.

상세 분석

ML‑DCN은 두 가지 핵심 아이디어를 결합한다. 첫째, DCNv2의 저랭크 변형을 백본으로 채택하여 교차 연산을 U ∈ ℝ^{d×r}, V ∈ ℝ^{d×r} ( r ≪ d ) 형태의 행렬 분해로 구현함으로써 파라미터와 FLOPs를 크게 절감한다. 기존 저랭크 DCN은 X_{l+1}=X_0⊙(X_l V)U^T + b + X_l 와 같이 단순히 선형 변환 후 원본 피처와 곱하는 구조였지만, 이는 레이어가 깊어질수록 표현력 증가가 제한적이었다.

둘째, 인스턴스‑조건부 마스크 M 를 도입한다. 마스크는 X_l 에 대해 ReLU(X_l W_{d1}+b_{d1}) · W_{d2}+b_{d2} 형태로 생성되며, 차원 k (통상 k ≫ d) 를 사용해 t = k/d 비율의 “병목”을 만든다. 이렇게 얻어진 M ∈ ℝ^{B×r} 은 저랭크 교차 결과 (X_l V) 와 원소곱을 수행해 (X_l V)⊙M 를 만든 뒤, U^T 와 결합한다. 최종 출력은 LN( X_0⊙