맞춤형 구매 결정을 위한 LLM 기반 리뷰 요약 프레임워크 SUMFORU

초록

SUMFORU는 Amazon 2023 리뷰 데이터를 활용해 사용자 페르소나와 제품 리뷰를 결합, 두 단계 정렬(슈퍼바이즈드 파인튜닝 → AI 피드백 강화 RL)으로 개인화된 요약과 적합도 점수를 생성한다. 규칙 기반, LLM 기반, 인간 평가 모두에서 기존 모델을 능가하며, 새로운 카테고리에도 일반화한다.

상세 분석

본 논문은 전통적인 리뷰 요약 모델이 “모두에게 동일한” 요약을 제공함으로써 개인별 선호를 반영하지 못한다는 문제점을 지적한다. 이를 해결하기 위해 저자는 ‘스티어러블 플루럴리즘 정렬’이라는 개념을 도입하고, 두 단계 정렬 파이프라인을 설계하였다. 첫 번째 단계인 Persona‑aware Supervised Fine‑Tuning(SFT)은 비대칭 지식 증류(asymmetric knowledge distillation)를 이용한다. 대형 교사 모델(Qwen3‑235B‑A22B‑Instruct‑2507)이 생성한 ‘Golden Summary’를 합성 데이터로 활용해, 경량 학생 모델(Qwen3‑4B‑Instruct‑2507)이 교사의 조건부 생성 행동을 모방하도록 학습한다. 여기서 핵심은 인간이 직접 작성한 요약을 배제하고, 교사가 입력 리뷰와 페르소나를 동시에 고려하도록 함으로써 ‘암묵적’ 사용자 선호 신호를 전달한다는 점이다.

두 번째 단계인 Reinforcement Learning with AI Feedback(RLAIF)는 고온 샘플링으로 다채로운 후보 요약을 생성하고, 동일 교사 모델을 ‘Preference Estimator’로 활용해 쌍별 비교를 통해 보상 점수를 부여한다. 이 보상은 ‘Persona Alignment’, ‘Factual Grounding’, ‘Consistency’ 등 다차원적인 품질을 반영한다. PPO와 LoRA를 결합한 최적화는 SFT 단계에서 학습된 초기 정책을 미세 조정하여, 페르소나에 특화된 증거 선택과 요약 구조를 강화한다.

데이터 파이프라인은 Amazon 2023 리뷰 데이터셋에서 ‘활동 사용자(≥3개 리뷰)’와 ‘골든 제품(≥20개 리뷰, 최소 1개 활동 사용자 리뷰)’을 선별하고, 구매 시점 이전의 리뷰만을 사용해 정보 과부하 상황을 시뮬레이션한다. 리뷰 수가 15~50개 사이가 되도록 스트라티파이드 샘플링을 적용하고, 각 사용자에 대해 Qwen3‑30B‑Instruct 모델을 이용해 간결한 페르소나 설명을 자동 생성한다. 최종적으로 3,000개의 학습 페어와 1,000개의 테스트 페어를 확보하였다.

평가에서는 세 가지 축을 사용한다. 규칙 기반 메트릭은 BertScore 기반의 요약 내용 일치도와 적합도 점수의 MAE·Spearman·Within‑1 정확도를 측정한다. LLM 기반 평가는 Qwen3‑235B와 GPT‑OSS‑120B 두 판정자를 통해 ‘Consistency’, ‘Grounding’, ‘Persona Alignment’를 0~1 스코어로 정량화한다. 인간 평가는 3명의 어노테이터가 10개 케이스를 순위 매기고, 상위 요약에 대해 5점 Likert 척도로 ‘Persona Alignment’, ‘Decision Utility’, ‘Factual Trustworthiness’를 평가한다.

실험 결과, RL 단계까지 진행한 모델이 모든 지표에서 최고 성능을 기록한다. 특히 Persona Alignment 점수가 Qwen 판정자 기준 0.892, GPT 판정자 기준 0.642로 크게 상승했으며, 인간 평가에서도 승률 0.8, 평균 순위 1.2, Likert 평균 4.9점에 달한다. 규칙 기반 요약 내용 메트릭은 큰 차이가 없었지만, 이는 표면적인 의미 유사도에 한계가 있음을 시사한다. 또한, 미보인 제품 카테고리에서도 동일한 정렬 전략이 일반화됨을 확인하였다.

이 논문은 (1) 비대칭 지식 증류를 통한 효율적인 SFT 설계, (2) LLM 기반 선호 추정기를 활용한 RLAIF 구현, (3) 페르소나‑조건부 데이터 구축이라는 세 축에서 기존 연구를 확장한다. 한계점으로는 인간 평가 규모가 작아 통계적 일반화가 제한적이며, 페르소나 생성에 LLM 의존도가 높아 편향 전파 위험이 존재한다는 점을 들 수 있다. 향후 연구에서는 다중 페르소나 혼합, 실시간 사용자 피드백 루프, 그리고 다양한 도메인(예: 여행, 의료)으로의 확장을 제안한다.