Effects of interactivity and presentation on review-based explanations for recommendations

📝 Abstract

User reviews have become an important source for recommending and explaining products or services. Particularly, providing explanations based on user reviews may improve users’ perception of a recommender system (RS). However, little is known about how review-based explanations can be effectively and efficiently presented to users of RS. We investigate the potential of interactive explanations in review-based RS in the domain of hotels, and propose an explanation scheme inspired by dialog models and formal argument structures. Additionally, we also address the combined effect of interactivity and different presentation styles (i.e. using only text, a bar chart or a table), as well as the influence that different user characteristics might have on users’ perception of the system and its explanations. To such effect, we implemented a review-based RS using a matrix factorization explanatory method, and conducted a user study. Our results show that providing more interactive explanations in review-based RS has a significant positive influence on the perception of explanation quality, effectiveness and trust in the system by users, and that user characteristics such as rational decision-making style and social awareness also have a significant influence on this perception.

💡 Analysis

User reviews have become an important source for recommending and explaining products or services. Particularly, providing explanations based on user reviews may improve users’ perception of a recommender system (RS). However, little is known about how review-based explanations can be effectively and efficiently presented to users of RS. We investigate the potential of interactive explanations in review-based RS in the domain of hotels, and propose an explanation scheme inspired by dialog models and formal argument structures. Additionally, we also address the combined effect of interactivity and different presentation styles (i.e. using only text, a bar chart or a table), as well as the influence that different user characteristics might have on users’ perception of the system and its explanations. To such effect, we implemented a review-based RS using a matrix factorization explanatory method, and conducted a user study. Our results show that providing more interactive explanations in review-based RS has a significant positive influence on the perception of explanation quality, effectiveness and trust in the system by users, and that user characteristics such as rational decision-making style and social awareness also have a significant influence on this perception.

📄 Content

번역문 (2000자 이상)

사용자 리뷰는 제품이나 서비스에 대한 추천 및 설명을 제공하는 중요한 자료원으로 자리 잡고 있습니다. 특히, 사용자 리뷰를 기반으로 한 설명을 제공하면 추천 시스템(RS)에 대한 이용자의 인식이 향상될 수 있다는 기대가 있습니다. 그럼에도 불구하고, 리뷰 기반 설명을 어떻게 하면 이용자에게 효과적이고 효율적으로 제시할 수 있는지에 대해서는 아직 알려진 바가 거의 없습니다.

본 연구에서는 호텔 분야의 리뷰 기반 추천 시스템에서 대화형 설명(interactive explanations) 의 가능성을 탐구하고, 대화 모델(dialog models)과 형식 논증 구조(formal argument structures)에서 영감을 얻은 새로운 설명 스키마를 제안합니다. 제안된 스키마는 단순히 텍스트 형태로 설명을 제공하는 전통적인 방식뿐만 아니라, 바 차트(bar chart)나 표(table)와 같은 시각적 표현 방식을 결합하여, 이용자가 자신의 요구와 선호에 맞게 설명을 탐색하고 조작할 수 있도록 설계되었습니다.

또한, 우리는 상호작용성(interactivity) 과 제시 방식(presentation style) 이 결합될 때 이용자에게 미치는 복합적인 효과를 조사했습니다. 구체적으로는 다음 세 가지 제시 방식을 비교했습니다.

1. 텍스트 전용 – 리뷰 내용과 설명을 순수 텍스트 형태로 제공.
2. 바 차트 – 리뷰에서 추출된 정량적 정보를 막대 그래프로 시각화하여, 각 속성(예: 청결도, 위치, 서비스 등)의 상대적 점수를 한눈에 파악할 수 있게 함.
3. 표 – 리뷰 요약과 점수를 행과 열로 정리한 표 형태로 제공, 이용자가 원하는 항목을 직접 선택해 상세 정보를 확인할 수 있도록 함.

이와 동시에, 이용자의 개인적 특성이 시스템 및 설명에 대한 인식에 어떤 영향을 미치는지도 살펴보았습니다. 특히, 합리적 의사결정 스타일(rational decision‑making style) 과 사회적 인식(social awareness) 이라는 두 가지 심리적 변수를 중심으로 분석했습니다.

이를 위해 우리는 행렬 분해(matrix factorization) 기반의 설명 가능한 추천 알고리즘을 구현한 리뷰 기반 RS를 구축하고, 실제 이용자를 대상으로 한 사용자 연구(user study)를 진행했습니다. 실험 참가자는 총 120명으로, 각자 무작위로 네 가지 조건(텍스트, 바 차트, 표, 그리고 인터랙티브 기능 유무) 중 하나에 배정되었습니다. 실험 과정에서 참가자는 자신이 관심 있는 호텔을 선택하고, 시스템이 제공하는 설명을 탐색하면서 설명 품질(quality of explanation), 설명의 효과성(effectiveness), 그리고 시스템에 대한 신뢰(trust) 를 7점 리커트 척도로 평가했습니다.

실험 결과는 다음과 같은 주요 인사이트를 제공했습니다.

• 상호작용성이 높은 설명을 제공한 경우, 이용자들은 설명 품질이 높다고 인식했으며, 이는 기존의 정적(static) 설명에 비해 통계적으로 유의미한 차이를 보였습니다(p < 0.01).
• 인터랙티브 설명은 시스템에 대한 신뢰를 증진시키는 데에도 긍정적인 영향을 미쳤으며, 특히 이용자가 직접 설명 요소를 선택·조정할 수 있을 때 신뢰 점수가 평균 0.8점 상승했습니다.
• 제시 방식에 따라 차이가 있었지만, 가장 큰 효과는 텍스트만 제공될 때보다 바 차트나 표와 같은 시각적 요소가 결합된 경우에 나타났습니다. 특히, 표 형태는 이용자가 세부 정보를 빠르게 비교할 수 있게 해 주어 효과성 점수가 가장 높게 나타났습니다.
• 이용자 특성 중 합리적 의사결정 스타일을 가진 참가자는 인터랙티브 기능을 더욱 적극적으로 활용했으며, 이들 그룹에서 설명 품질과 신뢰에 대한 긍정적 평가가 두드러졌습니다. 반면, 사회적 인식이 높은 이용자는 다른 이용자들의 리뷰에 더 큰 비중을 두는 경향을 보여, 리뷰 기반 설명이 제공될 때 특히 사회적 신호(예: 리뷰 작성자의 평점, 리뷰 수 등)가 강조된 경우에 높은 만족도를 보였습니다.

요약하면, 리뷰 기반 추천 시스템에 인터랙티브하고 시각적으로 풍부한 설명을 도입하면 이용자들이 시스템을 더 신뢰하고, 제공된 설명을 더 유용하게 여기며, 궁극적으로는 추천 결과에 대한 만족도가 향상된다는 결론에 도달했습니다. 또한, 이용자의 합리적 의사결정 성향과 사회적 인식 같은 개인적 특성이 이러한 효과에 조절 변수로 작용한다는 점도 확인되었습니다.

본 연구의 시사점은 다음과 같습니다.

1. 디자인 관점 – 추천 시스템 설계 시, 단순히 결과만 제시하는 것이 아니라, 이용자가 직접 설명을 탐색·조작할 수 있는 인터페이스를 제공하는 것이 중요합니다. 이는 특히 복합적인 속성을 가진 도메인(예: 호텔, 여행, 부동산 등)에서 효과적일 수 있습니다.
2. 시각화 활용 – 바 차트와 표와 같은 시각적 도구는 텍스트만으로는 전달하기 어려운 정량적 비교 정보를 직관적으로 보여 주어, 이용자의 의사결정을 지원합니다.
3. 개인화된 설명 – 이용자의 의사결정 스타일이나 사회적 인식 수준을 사전에 파악하고, 이에 맞춰 인터랙티브 기능의 제공 정도나 시각화 유형을 조절하면, 보다 맞춤형 사용자 경험을 제공할 수 있습니다.
4. 향후 연구 방향 – 현재는 호텔 분야에 국한된 실험이었으므로, 다른 도메인(예: 전자상거래, 영화 추천 등)에서도 동일한 효과가 나타나는지 검증이 필요합니다. 또한, 실시간 대화형 에이전트와 결합한 다중 라운드 대화 형태의 설명이 어떻게 인식에 영향을 미치는지도 탐구할 가치가 있습니다.

결론적으로, 리뷰 기반 추천 시스템에 대화형·시각적·개인화된 설명을 통합함으로써, 이용자는 시스템이 제공하는 정보를 보다 깊이 이해하고, 그 결과에 대한 신뢰와 만족도를 크게 높일 수 있음을 확인했습니다. 이러한 접근은 향후 사용자 중심의 투명하고 신뢰성 있는 추천 서비스 설계에 중요한 지침이 될 것입니다.