연속 온라인 넷전환율 예측을 위한 연쇄 지연 피드백 모델링

초록

본 논문은 클릭‑전환‑환불이라는 두 단계의 지연 피드백을 고려한 넷전환율(NetCVR) 예측을 위해, 대규모 공개 데이터셋 CASCADE를 구축하고, 시간에 민감한 온라인 연속 학습 프레임워크 TESLA를 제안한다. 실험 결과 TESLA가 기존 최첨단 모델 대비 RI‑AUC 12.41%, RI‑PRAUC 14.94%의 절대 향상을 달성한다.

상세 분석

본 연구는 기존 CVR 예측이 구매 후 환불까지 고려하지 못한다는 근본적인 한계를 지적하고, NetCVR를 “클릭 → 전환 → 환불”이라는 3단계 프로세스로 정의한다. 두 지연 구간(클릭‑전환, 전환‑환불)은 각각 양의 효과와 음의 효과를 동시에 갖기 때문에, 단순히 CVR에 환불률을 곱하는 방식으로는 편향된 라벨을 얻는다. 이를 해결하기 위해 저자들은 다음과 같은 핵심 통찰을 도출하였다. 첫째, NetCVR는 시간대별·일별로 뚜렷한 변동성을 보이며, 특히 야간에 급격히 감소한다는 점에서 실시간 모델 업데이트가 필수적이다. 둘째, NetCVR를 직접 예측하기보다 CVR과 환불률(RFR)을 순차적으로 예측하고 곱하는 ‘연쇄(cascade)’ 구조가 성능면에서 우수함을 실험적으로 확인하였다. 셋째, “지연 시간” 자체가 CVR 및 RFR과 상관관계가 높아, 짧은 지연은 높은 전환 의도를, 긴 지연은 환불 가능성을 시사한다는 행동적 신호로 활용 가능하다. 이러한 인사이트를 바탕으로 제안된 TESLA는 (1) 공유‑바텀 멀티태스크 아키텍처로 CVR과 RFR을 동시에 학습하고, (2) 단계별 역편향(debiasing) 모듈을 통해 관측되지 않은 라벨의 편향을 보정하며, (3) 지연 시간 정보를 포함한 순위 손실 함수를 도입해 실시간 스트리밍 데이터에 적용한다. 또한, 온라인 연속 학습 파이프라인을 설계해 데이터가 들어오는 즉시 두 단계의 관찰 윈도우(전환 관찰 윈도우, 환불 관찰 윈도우)를 적용, 라벨이 완전히 확정될 때까지 점진적으로 모델을 업데이트한다. 실험에서는 CASCADE 데이터셋을 이용해 베이스라인(전통적인 오프라인 CVR 모델, FNC 기반 온라인 모델 등)과 비교했으며, TESLA가 AUC, NLL, PRAUC, PCOC 등 다중 지표에서 일관된 우위를 보였다. 특히, 연쇄 구조가 직접 NetCVR를 예측하는 방식보다 높은 PR‑AUC와 낮은 NLL을 기록, 라벨 불확실성을 효과적으로 감소시켰음을 입증한다. 마지막으로, 코드와 데이터셋을 공개함으로써 산업계·학계 모두가 NetCVR 연구를 재현하고 확장할 수 있는 기반을 제공한다.