LLM 기반 추천 시스템의 불확실성 및 공정성 인식

초록

본 논문은 대형 언어 모델(LLM)을 활용한 영화·음악 추천에서 예측 불확실성과 인구통계·성격 기반 편향을 정량화한다. 엔트로피 기반 불확실성 측정과 새롭게 정의한 SNSR·SNSV 지표를 이용해 Google Gemini 1.5 Flash가 특정 민감 속성에 대해 일관되게 불공정함을 보이며, 프롬프트 오타·다국어 입력에서도 차이가 유지됨을 실증한다. 또한 성격‑조건부 프롬프트를 도입해 개인화와 집단 공정성 간의 트레이드오프를 탐색하고, 불확실성‑인식 평가 프레임워크를 제안한다.

상세 분석

이 연구는 LLM 기반 추천 시스템에서 두 가지 핵심 문제—예측 불확실성(uncertainty)과 공정성(fairness)—을 동시에 다루는 최초 사례 중 하나이다. 먼저 저자들은 엔트로피를 불확실성 지표로 채택하고, 리스트‑와이즈 출력 특성에 맞게 변형하였다. 엔트로피가 높은 경우 추천 리스트의 변동성이 커져 사용자 신뢰도가 저하된다는 가설을 실험적으로 검증했으며, 이는 기존 분류·QA 분야에서 확인된 결과와 일치한다.

공정성 측정에서는 기존 연구에서 사용된 ‘Similarity‑Based Gap’ 지표를 확장해 SNSR (Similarity‑Based Normalized Similarity Ratio)와 SNSV (Similarity‑Based Normalized Similarity Variance)를 도입하였다. SNSR은 가장 불리한 속성과 가장 유리한 속성 간의 유사도 차이를, SNSV는 전체 속성 집합에 대한 유사도 분산을 정량화한다. 실험 결과 Gemini 1.5 Flash는 SNSR = 0.1363, SNSV = 0.0507이라는 높은 편차를 보였으며, 이는 특정 인종·성별·직업 등 8가지 민감 속성(총 31개 카테고리)에서 일관된 차별을 의미한다.

프롬프트 변형 실험에서는 의도적 오타 삽입, 다국어(영어·중국어·스페인어) 전환, 그리고 성격‑조건부 프롬프트(예: “나는 외향적인 25세 대학생이다”)를 적용하였다. 결과는 불확실성 지표와 공정성 지표 모두가 프롬프트 변화에 민감하게 반응한다는 점을 보여준다. 특히 성격‑조건부 프롬프트에 대해 제안된 PAFS(Personality‑Aware Fairness Score) = 1 − (평균 유사도 차이) 가 낮게 나타나, 개인화된 성격 정보가 추천 결과의 변동성을 크게 증가시킴을 확인했다.

데이터셋은 영화(IMDb 기반 1,000명 감독)와 음악(Top 1,000 아티스트) 두 도메인으로 구성되었으며, 각각 인기·다양성 기준으로 500개씩 샘플링하였다. 민감 속성 라벨링은 연령, 대륙, 국적, 성별, 직업, 신체·인종·종교 등 8가지 범주를 포함한다. 실험 환경은 RTX 5070 Ti GPU와 최신 파이썬 라이브러리를 사용했으며, Gemini 1.5 Flash API를 통해 실시간 응답을 수집했다.

주요 기여는 다음과 같다. (1) 엔트로피 기반 불확실성 정량화가 추천 정확도와 일관성에 미치는 부정적 영향을 실증하고, 불확실성 감소를 위한 샘플링·온‑디맨드 재검증 전략을 제안한다. (2) SNSR·SNSV와 PAFS를 포함한 종합 공정성 평가 프레임워크를 구축하여, 기존 재랭킹·다중 이해관계자 접근법이 놓치기 쉬운 미세한 차별을 포착한다. (3) Gemini 1.5 Flash가 현재 상용 LLM 중 가장 높은 편향 수준을 보이며, 프롬프트 오타·다국어 입력에서도 차별이 지속되는 점을 강조한다. (4) 불확실성‑공정성 트레이드오프를 시각화하고, 불확실성이 높은 상황에서 보수적인 추천(Selective Prediction) 혹은 사용자에게 불확실성 정보를 제공하는 방안을 논의한다.

결론적으로, 이 논문은 LLM 기반 추천 시스템을 실제 서비스에 적용하기 전에 불확실성과 공정성을 동시에 검증해야 함을 강조한다. 향후 연구는 다중 모델(예: Gemini 2 · ChatGPT‑4· LLaMA‑2) 간의 비교, 적응형 캘리브레이션 메커니즘, 그리고 사용자 피드백을 활용한 실시간 불확실성 보정 등에 초점을 맞출 필요가 있다.