도메인 적응형 밀집 검색 기반 콘텐츠 추천 시스템

초록

본 논문은 패션 분야 Amazon 리뷰 데이터를 활용해 두‑탑 바이‑인코더를 도메인에 맞게 미세조정하고, INT8 양자화와 FAISS HNSW 인덱싱을 결합해 CPU 환경에서도 6 ms 이하의 지연시간으로 826 k 규모 카탈로그를 실시간 검색하는 방법을 제시한다.

상세 분석

이 연구는 전통적인 BM25와 같은 희소 키워드 매칭이 어휘 불일치 문제로 인해 전자상거래 추천·검색에서 한계를 보이는 점을 출발점으로 삼는다. 저자는 “추천‑as‑retrieval” 프레임워크를 채택해, 사용자의 자유 텍스트 의도를 쿼리로, 제품 메타데이터를 문서로 간주하고, 두 객체를 의미론적 유사도 기반으로 매칭한다. 핵심 모델은 all‑mpnet‑base‑v2 사전학습 모델을 기반으로 한 공유 가중치 바이‑인코더이며, 입력 토큰은 최대 500개로 제한한다. 학습 단계에서는 리뷰 텍스트와 해당 아이템 메타데이터를 (q, d) 쌍으로 구성하고, 50 k개의 고품질 인터랙션을 선별한다. 손실 함수는 배치 내 다른 샘플을 자동 부정예로 활용하는 Multiple Negatives Ranking Loss(MNRL)를 사용해, 온‑배치 대비 효율적인 대조학습을 수행한다. 온‑디바이스 서빙을 위해 모델을 ONNX로 변환하고, 동적 INT8 양자화를 적용해 메모리 대역폭과 연산량을 크게 감소시켰다. 검색 단계에서는 FAISS HNSW 인덱스를 구축해 근사 최근접 이웃 탐색을 O(log N) 시간에 수행한다. 실험 결과, 리뷰‑투‑타이틀 벤치마크에서 Recall@10이 BM25 0.26에서 0.66으로 2.5배 이상 향상됐으며, CPU 단일 스레드에서 평균 6.1 ms(중위값) 지연시간을 기록했다. 또한 모델 크기가 4배 압축돼 실제 서비스에 적합한 경량성을 확보했다. 이와 같이 도메인 적응형 학습, 양자화, 효율적인 ANN 인덱싱을 결합한 전체 파이프라인을 제시함으로써, 대규모 카탈로그에서도 실시간 밀집 검색 기반 추천이 가능함을 입증한다.