LLM 기반 챗봇으로 목표 설정을 강화하는 설계 가이드라인

초록

본 연구는 대형 언어 모델(LLM) 챗봇에 ‘가이드’, ‘제안’, ‘피드백’ 세 가지 설계 요소를 적용해 목표 설정과 실행 의도를 지원하는 효과를 검증한다. 543명의 참가자를 대상으로 5가지 챗봇 조건을 무작위 배정한 실험 결과, 기본적인 가이드만으로도 목표의 구체성과 난이도가 향상되었으며, 여기에 개인화된 피드백을 추가했을 때 목표와 실행 계획의 품질이 가장 크게 개선되었다. 반면, 적응형 제안 기능은 기대한 효과를 보이지 않았다. 연구는 LLM 챗봇 설계 시 가이드와 피드백을 중심으로 구성할 것을 권고한다.

상세 분석

이 논문은 목표 설정 이론과 실행 의도(implementation intention) 이론을 실천 단계에서 지원하기 위해 LLM 기반 챗봇의 설계 요소를 체계적으로 검증한 최초 연구 중 하나이다. 실험은 5가지 조건(기본 질문형, 규칙 기반 가이드, 가이드+제안, 가이드+피드백, 가이드+제안+피드백)으로 구성돼, 각 조건이 목표의 구체성, 난이도, 목표에 대한 헌신도, 실행 의도 품질, 행동 의도에 미치는 영향을 다중 지표로 평가했다. 결과는 ‘가이드’ 자체가 목표의 구체성과 난이도를 유의미하게 높였으며, ‘피드백’이 추가될 때 목표와 실행 의도의 전반적인 품질이 가장 크게 향상된다는 점을 보여준다. 흥미롭게도 ‘제안’ 기능은 기대와 달리 목표 품질에 유의미한 영향을 미치지 못했으며, 이는 사용자가 스스로 만든 목표에 대한 주관적 소유감이 제안에 의해 약화될 가능성을 시사한다. 또한, 피드백이 목표 품질을 높였음에도 불구하고 목표에 대한 헌신도와 행동 의도에는 변화가 없었는데, 이는 인지적 품질 향상이 동기적 요소까지 자동으로 전이되지 않음을 의미한다. 설계적 시사점으로는 LLM 챗봇이 단순히 정보를 제공하는 수준을 넘어, 사용자가 누락한 핵심 요소를 식별하고 맞춤형 피드백을 제공함으로써 심리학적 프레임워크를 실제 대화에 구현해야 함을 강조한다. 한계점으로는 실험이 단일 세션으로 제한됐으며, 장기적인 목표 달성 여부와 행동 변화 지속성을 검증하지 못했다는 점이다. 향후 연구는 피드백의 유형(긍정적 vs. 교정적)과 빈도, 그리고 장기 추적을 통해 동기와 행동 전이 메커니즘을 탐색할 필요가 있다.