LLM 기반 추천 시스템의 피드백 루프 위험 진단

초록

LLM이 데이터 증강·프로파일링·추천·설명 등 다양한 역할을 수행하면서 발생하는 편향·환각·인기 편향을 단계별로 측정하고, 반복적인 피드백 루프에서 이러한 위험이 어떻게 누적·증폭되는지를 체계적으로 분석한다. 저자들은 역할‑인식·시점‑별 진단 프레임워크와 제어된 피드백‑루프 파이프라인을 제안하고, 공개 벤치마크 실험을 통해 LLM‑기반 컴포넌트가 인기 편향을 강화하고 허구의 아이템을 생성해 추천 리스트를 왜곡함을 보인다. 향후 오픈소스 툴킷을 제공해 연구자들이 위험 분석을 재현·확장할 수 있도록 한다.

상세 분석

본 논문은 LLM이 추천 시스템에 삽입될 때 나타나는 구조적 위험을 ‘역할‑인식’과 ‘단계‑별’이라는 두 축으로 정형화한다. 먼저 저자들은 LLM‑4‑RS를 다섯 가지 기능적 역할(R1‑R5)로 분류하고, 특히 데이터 증강(LLM‑as‑Augmenter), 프로파일링(LLM‑as‑Representer), 직접 추천(LLM‑as‑Recommender) 세 역할에 초점을 맞춘다. 이들 역할은 각각 학습 데이터와 출력 리스트에 직접적인 영향을 미치므로, 편향·환각·인기 편향 같은 LLM 고유의 결함이 시스템 전반에 전파될 위험이 크다.

논문은 세 단계(LLM 콘텐츠 생성, 추천, 피드백 루프)로 구성된 진단 프레임워크를 제안한다. 첫 단계에서는 LLM이 생성한 사용자·아이템 프로파일, 합성 인터랙션을 정량적으로 평가해 ‘편향 toward popular items’와 ‘허구적 속성(예: 존재하지 않는 장르)’의 비율을 측정한다. 두 번째 단계에서는 LLM‑as‑Recommender가 만든 순위 리스트의 품질을 ‘아이템 유효성(실제 존재 여부)’, ‘랭킹 안정성(동일 입력에 대한 변동)’, ‘노출 편향(인기 아이템 비중)’으로 검증한다. 마지막 단계에서는 이러한 결과물을 실제 사용자 피드백으로 되돌려 학습 데이터에 재삽입함으로써, 시간이 지남에 따라 사용자·아이템 임베딩이 분극화되고, 특정 그룹에 대한 노출 격차가 확대되는 ‘피드백 루프 증폭 효과’를 관찰한다.

실험에서는 여러 LLM 기반 베이스라인과 공개 데이터세트(예: MovieLens, Amazon 리뷰)를 사용해 5~10 사이클을 시뮬레이션했다. 결과는 LLM‑as‑Augmenter가 합성 인터랙션을 추가할수록 인기 아이템 비중이 12%p 상승하고, LLM‑as‑Representer가 생성한 프로파일에 허구적 속성이 8% 정도 포함됨을 보여준다. 또한 LLM‑as‑Recommender는 후보 집합이 있음에도 불구하고 4% 정도의 비존재 아이템을 추천했으며, 동일 프롬프트에 대한 랭킹 변동성이 평균 0.23(NDCG 기준) 수준으로 높았다. 피드백 루프를 8 사이클까지 진행했을 때, 사용자 군 간 임베딩 거리가 1.5배 확대되고, 인기 아이템 노출 비율이 초기 대비 18%p 증가하는 등 시스템 전체가 LLM‑유도 편향으로 수렴하는 현상이 명확히 드러났다.

이러한 발견은 LLM이 단순히 성능을 끌어올리는 도구가 아니라, 시스템 전반에 걸쳐 위험을 전파·증폭시킬 수 있는 ‘에코 챔버’ 역할을 할 수 있음을 시사한다. 따라서 연구자는 LLM‑4‑RS 설계 시 역할별 위험 프로파일링, 피드백 루프 제어(예: 인간 검증 단계 삽입, 합성 데이터 비중 제한), 그리고 지속적인 모니터링 메트릭을 도입해야 한다는 실질적 가이드를 얻는다.