스케일 가능한 정보 흐름 네트워크로 구현하는 효율적 특성 상호작용

초록

INFNet은 카테고리, 행동 시퀀스, 태스크 토큰을 각각 그룹화하고, 각 그룹에 소수의 허브 토큰을 두어 교차‑어텐션으로 전역 정보를 집계한 뒤, 게이트형 브로드캐스트 유닛으로 원본 토큰에 다시 전달한다. 이 과정은 토큰 수에 대해 선형 복잡도를 유지하면서도 세밀한 시퀀스 신호와 태스크 의도를 전 단계에 걸쳐 활용한다. 공개 벤치마크와 대규모 산업 데이터에서 기존 경량 모델들을 지속적으로 능가했으며, 실제 광고 서비스에 적용해 매출 +1.587 %와 CTR +1.155 % 향상을 달성했다.

상세 분석

본 논문은 대규모 추천 시스템에서 필수적인 특성 상호작용을 “정보 흐름” 관점에서 재구성한다. 기존의 전통적 방법은 (1) 모든 토큰 간 전면적인 어텐션을 적용해 O(N²) 복잡도를 초래하거나, (2) 행동 시퀀스를 초기에 풀링해 O(N) 복잡도는 확보하지만 세밀한 아이템‑레벨 신호를 손실한다. 또한 멀티태스크 환경에서 태스크 신호를 마지막 단계에만 주입하는 “late fusion”은 모델이 태스크‑특화된 상호작용을 학습하기 어렵게 만든다. INFNet은 이러한 두 가지 병목을 동시에 해소한다.

첫 번째 핵심은 그룹‑와이즈 토큰화이다. 카테고리, 시퀀스, 태스크를 각각 독립적인 토큰 집합으로 유지하면서, 각 그룹에 허브 토큰을 별도로 할당한다. 허브 토큰은 원본 토큰보다 훨씬 적은 수(예: n_c ≪ N_c, n_s = B (행동 타입 수) 등)로 구성되어, 전체 토큰 공간을 압축하지 않으면서도 전역 컨텍스트를 요약한다.

두 번째 핵심은 Aggregate‑and‑Broadcast 메커니즘이다.

1. Aggregation Flow: 각 그룹의 허브 토큰이 쿼리 역할을 수행해, 다른 그룹의 원본 토큰(및 타 그룹 허브)과 교차 어텐션을 수행한다. 이때 어텐션 연산은 허브 × 전체 토큰 형태이므로 복잡도가 O((n_c + n_s + n_t)·N) ≈ O(N) 이다. 결과적으로 허브는 전역 정보를 집계하고, 서로 다른 특성 그룹 간의 정보 교환을 가능하게 한다.
2. Broadcast Flow: 집계된 허브는 **Broadcast Gated Unit (BGU)**을 통해 원본 토큰에 다시 전달된다. BGU는 스칼라 α, β 파라미터를 학습해, 허브 → 원본 토큰의 선형 변환(α·x + β) 형태로 정보를 주입한다. 이 게이트 구조는 각 토큰이 전역 컨텍스트를 선택적으로 받아들일 수 있게 하여, 과도한 정보 혼합을 방지한다.

이러한 두 단계가 스택 가능하게 설계돼, L개의 INFNet 블록을 순차적으로 쌓아도 토큰 수가 변하지 않는다(폭 보존). 따라서 깊은 네트워크에서도 초기 시퀀스 아이템의 세밀한 정보를 언제든 재활용할 수 있다. 또한 태스크 토큰도 동일한 흐름에 포함되므로, 태스크‑특화된 컨텍스트가 초기부터 상호작용에 반영된다.

실험 결과는 두 가지 축에서 강력하다. ① 공개 벤치마크(예: Criteo 데이터)와 자체 산업 데이터에서, INFNet은 RankMixer, One‑Trans 등 선형‑복잡도 모델을 크게 앞선 AUC/GAUC 향상을 보였다. 특히 모델 규모를 늘릴수록 성능이 꾸준히 상승하는 스케일링 법칙을 확인했으며, 이는 기존 경량 모델이 규모 확대 시 포화되는 현상과 대조된다. ② 실제 광고 서비스에 A/B 테스트를 적용했을 때, 매출 +1.587 %와 클릭‑스루‑레이트 +1.155 %라는 실질적인 비즈니스 이득을 기록했다.

또한 논문은 허브 토큰 수와 그룹 별 초기화 전략(MLP 기반 카테고리 허브, 풀링 기반 시퀀스 허브, 하이브리드 태스크 허브)의 민감도 분석을 제공한다. 허브 수가 너무 적으면 전역 정보가 충분히 전달되지 않아 성능이 감소하고, 과도하면 연산량이 늘어나지만 여전히 O(N) 범위에 머문다. 최적의 허브 비율은 데이터 특성(카테고리 수, 시퀀스 길이, 태스크 수)에 따라 달라진다.

전반적으로 INFNet은 선형 복잡도, 폭 보존, 태스크‑감지형이라는 세 축을 동시에 만족시키는 설계로, 대규모 실시간 추천 시스템에 적용 가능한 실용적인 솔루션을 제시한다.