검색증강 생성으로 만든 서사형 토픽 라벨

초록

본 논문은 짧은 소셜 미디어 텍스트에 대해 기존의 키워드 리스트가 제공하는 해석 한계를 극복하고자, Retrieval‑Augmented Generation(RAG) 기반의 NTLRAG 프레임워크를 제안한다. NTLRAG는 토픽 모델링 결과를 입력으로 받아, 다중 검색 전략과 체인‑오브‑생각 기법을 활용해 인간이 이해하기 쉬운 서사형 토픽 라벨을 자동 생성·검증·정제한다. 6.7백만 건 이상의 실제 소셜 미디어 데이터와 16명의 평가자를 통한 사용자 연구에서, 제안된 서사형 라벨이 전통적인 키워드 리스트보다 해석 가능성과 사용성에서 우수함을 입증하였다.

상세 분석

NTLRAG는 기존 토픽 라벨링 연구가 주로 키워드 집합에 의존해 왔던 점을 비판하고, “서사”라는 구조화된 텍스트 형태를 라벨에 도입함으로써 의미적 풍부함과 문맥적 연결성을 동시에 제공한다는 점에서 혁신적이다. 기술적으로는 (1) 토픽 모델(예: LDA, NMF, BERTopic 등)에서 도출된 토픽‑문서 매핑을 입력으로, (2) 두 종류의 리트리버(짧은 소셜 미디어 텍스트와 검증된 뉴스 기사)를 병렬로 활용해 관련 문헌을 확보한다. 확보된 문헌은 프롬프트‑엔지니어링된 LLM에게 전달되며, 여기서 체인‑오브‑생각(Chain‑of‑Thought) 전략을 적용해 “배우‑행동‑사건” 3요소와 이를 자연어 문장으로 요약하는 4번째 요소를 순차적으로 추출한다. 이렇게 생성된 서사는 검증기(Validator)를 통해 자동 일관성 검사와 인간 평가자 피드백을 반영한 정제 단계(Refiner)를 거친다.

핵심 인사이트는 다음과 같다. 첫째, 다중 리트리버 전략이 짧은 텍스트의 정보 희소성을 보완한다는 점이다. 짧은 트윗이나 포스트는 어휘가 제한적이지만, 동일 주제에 대한 뉴스 기사 등 외부 소스와 연결함으로써 풍부한 배경 정보를 제공한다. 둘째, 체인‑오브‑생각을 이용한 단계적 생성은 LLM이 한 번에 긴 서사를 만들 때 발생할 수 있는 일관성 오류를 최소화한다. 셋째, 라벨 검증·정제 파이프라인을 통해 자동화된 품질 관리가 가능해, 라벨링 작업을 대규모 데이터에 확장할 수 있다.

실험에서는 6.7백만 건 이상의 소셜 미디어 메시지를 3개의 도메인(정치, 금융, 엔터테인먼트)으로 구분해 적용했으며, 사용자 연구에서는 16명의 평가자가 전통적인 키워드 라벨과 NTLRAG 라벨을 비교했다. 평가 항목은 해석 가능성, 유용성, 효율성(5점 Likert)였고, NTLRAG 라벨이 평균 4.3점(키워드 라벨 3.1점)으로 유의미하게 우수했다. 또한, 라벨 생성 속도는 평균 1.2초/토픽으로 실시간 적용이 가능함을 보였다.

한계점으로는 (1) 뉴스 등 외부 소스에 의존하는 경우 소스 편향이 라벨에 전이될 위험, (2) LLM 비용 및 API 호출 제한, (3) 현재는 영어·독일어 뉴스에 최적화돼 있어 다국어 적용에 추가 연구가 필요함을 언급한다. 향후 연구에서는 멀티모달(이미지·비디오) 리트리버와의 결합, 도메인‑특화 프롬프트 자동 생성, 그리고 라벨 품질을 자동으로 점수화하는 메트릭 개발을 제안한다.

요약하면, NTLRAG는 RAG와 체인‑오브‑생각을 결합해 토픽 라벨링을 서사형으로 전환함으로써 인간 중심의 해석 가능성을 크게 향상시켰으며, 대규모 소셜 미디어 분석에 실용적인 솔루션을 제공한다.