깊이 파고들기: 비동기 토론에서 LLM 에이전트가 지식 공동구축을 촉진하는 전략 설계와 평가

초록

**
본 연구는 비동기 온라인 토론에서 지식 공동구축을 단계적으로 심화시키기 위해 LLM 기반 에이전트의 개입 전략을 설계·구현하고, 과업‑관계 양식(전달·설득·참여·위임)의 효과를 실험하였다. 60명의 참여자를 대상으로 5차례 토론을 진행한 결과, 에이전트가 깊이 있는 단계로의 전이를 지속적으로 유도했으며, 특히 ‘전달·설득·참여’ 스타일이 토론 내용과 사용자 경험 모두에서 가장 긍정적인 영향을 미쳤다.

**

상세 분석

**
이 논문은 비동기 토론의 지식 공동구축 과정을 네 단계(시작‑탐색‑협상‑공동구축)로 모델링하고, 각 단계마다 필요한 ‘충족 기준’을 정의한다. 디자인 워크숍을 통해 도출된 네 가지 AI 개입 스타일은 기존 인간 조정자·촉진자 연구에서 차용한 과업‑관계(Task‑Relationship, TR) 프레임워크를 기반한다.

1. 전달(Telling) – 과업 중심으로 명확한 질문·요약을 제공, 토론 흐름을 구조화한다.
2. 설득(Selling) – 과업과 관계를 동시에 강조, 사용자의 의견을 재구성하거나 반론을 제시해 논의를 심화한다.
3. 참여(Participating) – 관계 중심으로 에이전트가 동료와 동일한 입장에서 지식 기여, 신뢰와 동등성을 증진한다.
4. 위임(Delegating) – 관계는 강조하지만 과업 지원을 최소화, 사용자가 스스로 진행하도록 유도한다.

LLM‑에이전트는 각 댓글을 실시간으로 분석해 현재 단계와 참여자들의 발언 유형(예: 아이디어 제시, 반론, 확장 등)을 파악하고, 사전 정의된 개입 규칙에 따라 적절한 스타일의 발언을 생성한다. 특히, ‘탐색 단계에서의 기반 강화’와 ‘협상 단계에서의 의견 통합’에 초점을 맞추어, 이전 단계에서 축적된 내용이 손실되지 않도록 설계된 점이 혁신적이다.

실험 설계는 within‑subject 방식으로, 60명의 참가자가 5개의 연속 토론에 각각 다른 스타일(4가지 AI + 인간만)로 참여하도록 하였다. 정량적 지표는 단계 전이 비율, 토론 깊이(코드화된 IAM/4‑phase 스코어), 발언 다양성 등을 포함했으며, 정성적 평가는 사후 설문·심층 인터뷰로 수행했다. 결과는 다음과 같다.

• 전달·설득·참여 스타일 모두 인간만 진행한 경우보다 높은 단계 전이 비율을 보였으며, 특히 ‘참여’ 스타일이 가장 높은 공동구축 단계(4단계) 도달률을 기록했다.
• 위임 스타일은 토론 흐름을 크게 방해하지는 않았지만, 깊이 있는 논의 촉진에는 한계가 있었다.
• 사용자 경험 측면에서 ‘참여’와 ‘설득’ 스타일이 가장 높은 만족도와 신뢰도를 얻었으며, ‘전달’ 스타일은 효율성은 높지만 인간‑에이전트 간 거리감을 느끼게 하는 경향이 있었다.
• 인간‑간 상호작용 분석 결과, AI가 적극적으로 의견을 제시하거나 반론을 제시할 때(특히 설득·참여 스타일) 참여자 간의 상호 피드백 빈도가 증가했고, 이는 토론의 질적 향상으로 이어졌다.

이 연구는 (1) 단계‑맞춤형 AI 개입이 비동기 토론의 깊이와 지속성을 향상시킬 수 있음을, (2) 과업‑관계 양식의 조합이 토론 내용과 사용자 경험에 서로 다른 영향을 미친다는 점을 실증적으로 보여준다. 또한, LLM‑에이전트가 ‘기초 강화’를 지속적으로 수행함으로써 초기 단계에서 발생할 수 있는 내용 손실을 방지하고, 이후 단계로 자연스럽게 전이하도록 돕는 메커니즘을 제시한다는 점에서 학술적·실무적 의의가 크다.

**