LLM 협업 글쓰기에서 자기효능감과 신뢰의 변천

초록

본 연구는 302명의 참여자를 대상으로 LLM(대형 언어 모델)과 공동으로 글을 쓰는 과정에서 사용자의 자기효능감과 신뢰가 어떻게 변하는지를 턴별로 추적하였다. 실험 결과, 협업이 진행될수록 자기효능감은 감소하고 신뢰는 증가했으며, 자기효능감 감소는 직접 편집 요청(드래프트‑투‑에디트)과 연결되고, 자기효능감 회복은 리뷰·피드백 요청과 연결되었다. 자기효능감이 안정적인 참가자는 최종 텍스트에 대한 실제·인지된 저작권이 높았다. 연구는 이러한 동태를 고려한 설계가 인간‑LLM 협업에서 저자성을 유지·지원하는 데 중요함을 시사한다.

상세 분석

이 논문은 인간‑LLM 협업 글쓰기에서 저자성(authorship) 문제를 심리적 상태의 동적 변화를 통해 조명한다. 연구자는 자기효능감(self‑efficacy)과 신뢰(trust)를 정적인 특성이 아니라 ‘턴‑레벨’ 상태(state)로 정의하고, 각각을 매 턴마다 5점 Likert 척도로 측정하였다. 302명의 영문 원어민 참가자를 모집해 논증형 에세이 작성을 과제로 제시했으며, LLM은 GPT‑4 기반 모델을 사용해 실시간으로 텍스트를 생성·수정하도록 설계하였다. 실험 설계는 사전·사후 설문이 아닌, 인터랙션 로그와 동시에 진행된 자기효능감·신뢰 평가를 결합함으로써 시간에 따른 변화를 정밀히 포착한다.

데이터 분석에서는 성장곡선 모델링(growth curve modeling)과 군집 기반 시계열 클러스터링을 활용해 자기효능감과 신뢰의 궤적을 3~4개의 대표 패턴으로 요약하였다. 주요 패턴은 (1) 지속적 감소(자기효능감 저하), (2) 초기 감소 후 회복, (3) 안정적 유지였다. 신뢰는 전반적으로 상승했으며, 패턴 간 차이는 미미했다.

행동 패턴과의 연관성 분석에서는 프롬프트 유형을 ‘드래프트‑투‑에디트’, ‘에디트‑투‑에디트’, ‘리뷰‑요청’, ‘피드백‑요청’ 등으로 코딩하였다. 자기효능감이 감소한 그룹은 직접 편집을 요구하는 프롬프트 비중이 높았고, 이는 모델에 대한 의존도가 급격히 증가했음을 의미한다. 반면, 자기효능감이 회복된 참가자는 리뷰·피드백을 요청하는 프롬프트를 선호해, 모델을 보조 도구로 활용하면서도 자신의 글쓰기 과정을 유지하려는 경향을 보였다.

저자성 측정은 두 축으로 나뉘었다. ‘실제 저자성’은 참가자가 작성한 텍스트 대비 LLM이 차지한 비율을 자동 텍스트 매칭(문장‑레벨 유사도)으로 정량화했으며, ‘인지된 저자성’은 사후 설문에서 “내가 최종 결과의 저자라고 느낀다”는 질문에 대한 주관 점수로 측정했다. 자기효능감이 안정적인 그룹은 실제·인지된 저자성 모두에서 높은 점수를 기록했으며, 이는 자기효능감이 저자성 유지에 핵심적인 심리적 보호막임을 시사한다.

디자인 함의에서는 (1) 사용자의 자기효능감 저하 시점에 ‘편집 제어’를 제한하고 ‘리뷰·피드백’ 옵션을 강조하는 인터페이스, (2) 신뢰가 상승함에 따라 투명성·출처 표시를 강화해 과도한 의존을 방지, (3) 자기효능감 회복을 지원하는 ‘자기‑반성’ 피드백 루프를 제공하는 설계 등을 제안한다. 한계점으로는 영어 논증 에세이라는 제한된 도메인, 단일 LLM 모델 사용, 그리고 자기효능감·신뢰를 단일 척도로 측정한 점을 들며, 향후 다문화·다과제 환경과 다중 모델 비교 연구가 필요함을 강조한다.