혼합형 감독 LLM 파이프라인으로 고객 리뷰에서 실행 가능한 제안 추출

초록

본 논문은 고객 리뷰에 숨겨진 구체적이고 실행 가능한 제안을 높은 재현율로 탐지하고, LLM을 활용해 추출·분류·클러스터링·요약까지 일괄 처리하는 하이브리드 파이프라인을 제안한다. RoBERTa 기반 이진 분류기에 정밀‑재현율 서브레이트 손실을 적용해 거짓 음성을 최소화하고, 이후 instruction‑tuned Gemma‑3 모델을 통해 제안을 정규화·카테고리 지정·군집화·요약한다. 숙박·음식 분야 실제 데이터에서 기존 규칙·단일 LLM·분류기 전용 방식보다 추출 정확도와 군집 일관성이 크게 향상되었으며, 인간 평가에서도 명료성·충실도·해석 가능성이 우수함을 확인했다.

상세 분석

이 연구는 “실행 가능한 제안(actionable suggestion)”이라는 개념을 명확히 정의하고, 기존 연구가 주로 문장 수준의 존재 여부만 판단하거나 고수준 요약에 머물렀던 한계를 극복하고자 한다. 핵심은 두 단계로 구성된 하이브리드 아키텍처이다. 첫 번째 단계는 RoBERTa‑base 모델에 정밀‑재현율 서브레이트 손실을 결합한 하이브리드 목표 함수를 적용해 학습한다. 이 손실은 전통적인 교차 엔트로피와 차별화된 정밀도‑재현율 근사값을 가중합함으로써, 특히 재현율을 크게 끌어올리면서도 과도한 양성 예측을 억제한다. 실험 결과, 재현율이 0.92에 달해 제안이 누락되는 경우를 최소화했으며, 정밀도도 0.90 수준을 유지해 전체적인 F1 점수가 우수했다.

두 번째 단계에서는 Ollama‑Gemma‑3 27B 모델을 instruction‑tuned 형태로 양자화하여 로컬 환경에서도 실시간 추론이 가능하도록 설계했다. 프롬프트 템플릿은 네 가지 주요 작업을 순차적으로 수행한다: (1) 리뷰 텍스트에서 명시적 제안을 식별·추출, (2) 추출된 문장을 의미적으로 완전하고 간결하게 재작성, (3) 사전 정의된 카테고리 집합에 할당, (4) 동일 카테고리 내에서 의미적 유사성을 기반으로 동적 군집 수를 결정해 클러스터링, (5) 각 클러스터에 대해 핵심 요약을 생성한다. 특히 재작성 단계는 원문 스팬과의 레벤슈타인 거리를 최소화하면서도 의미적 일관성을 보장하도록 설계돼, 이후 단계에서 어휘 변동성을 크게 감소시켜 클러스터링 품질을 높였다.

평가에서는 네 가지 베이스라인(단순 어휘 규칙, 프롬프트‑only LLM, 규칙‑기반 파이프라인, 분류기‑only 파이프라인)과 비교했으며, 추출 품질은 BERScore 0.92, BLEURT 0.89로 가장 높은 의미적 일치도를 기록했다. 스팬 기반 정확도(F1)는 낮게 나오지만 이는 재작성된 출력이 원본 스팬과 형태가 다르기 때문이며, 의미적 지표가 실제 비즈니스 활용에 더 적합함을 강조한다. 클러스터 일관성은 AMI 0.67로 가장 높아, 제안 간 중복을 효과적으로 줄이고 운영팀이 바로 활용할 수 있는 주제별 인사이트를 제공한다.

또한 도메인 전이 실험에서 숙박·음식 외 네 개의 산업군(리테일, 여행, 헬스케어, 전자상거래)으로 테스트했을 때 재현율은 0.88~0.93 사이로 유지됐으며, 정밀도는 도메인 특성에 따라 약간 변동했지만 전반적으로 안정적인 성능을 보였다. 이는 RoBERTa 기반 분류기가 일반화 능력이 뛰어나며, LLM 단계가 도메인‑특화된 프롬프트만으로도 충분히 적응할 수 있음을 시사한다.

효율성 측면에서는 양자화된 Gemma‑3 모델이 GPU 메모리 8 GB 이하에서 1 초 내에 한 리뷰당 추출·클러스터링·요약을 수행했으며, 기존 대형 LLM(예: GPT‑4) 대비 5배 이상 빠른 처리 속도를 보였다. 이는 실제 기업 현장에서 대규모 리뷰 데이터를 실시간으로 처리할 수 있는 실용성을 제공한다.

결론적으로, 이 논문은 고재현율 분류기와 제어된 LLM을 결합한 하이브리드 파이프라인이 제안 탐지·추출·구조화 전 과정을 효과적으로 보완한다는 점을 실증하였다. 향후 연구에서는 멀티모달(이미지·텍스트) 리뷰와 사용자 프로필을 통합해 개인화된 제안 우선순위 지정, 그리고 지속적인 온라인 학습을 통한 도메인 적응성을 강화할 여지가 있다.