LLM 사용 포기? 소프트웨어 개발에서의 실패 유형과 포기 요인 분석

초록

본 연구는 26명의 개발자를 대상으로 복잡한 웹 개발 과제 수행 시 ChatGPT와의 다중 턴 인터랙션을 관찰하고, LLM이 제공하는 부정확·불완전·맥락 손실 등 9가지 실패 유형을 규명한다. 실패 경험이 누적될수록 11배 높은 포기 확률을 보였으며, 프롬프트를 추가할수록 포기 확률이 17% 감소한다는 정량적 결과를 제시한다.

상세 분석

이 논문은 인간‑AI 상호작용(HCI)과 경험적 소프트웨어 공학(EMSE)의 교차점에서 중요한 실증 데이터를 제공한다. 26명의 피험자를 두 그룹(학생 21명, 전문가 5명)으로 나누어 복합적인 웹 애플리케이션 구현 과제를 수행하게 한 뒤, 화면 녹화와 사후 인터뷰를 통해 정성·정량 데이터를 수집하였다. 연구자는 LLM의 응답을 ‘도움이 됨’, ‘부분적 도움’, ‘전혀 도움 안 됨’으로 코딩하고, 실패 원인을 12가지, 완화 전략을 7가지로 분류하였다. 특히 ‘맥락 손실’과 ‘인지 과부하’라는 기존 HCI 도구 실패와 차별화되는 카테고리를 제시함으로써, 확률적·다중 턴 특성을 가진 LLM이 전통적인 도구 채택 모델에 어떻게 부합하지 못하는지를 논리적으로 설명한다. 통계 분석에서는 로지스틱 회귀를 이용해 ‘도움이 안 되는 응답’이 포기 확률을 11배 증가시킨다는 odds ratio를 도출했으며, 프롬프트 수가 증가할수록 포기 확률이 17% 감소한다는 흥미로운 상관관계를 발견했다. 이는 사용자가 실패를 인지하고 추가적인 프롬프트를 시도함으로써 일시적인 회복력을 보이는 반면, 지속적인 부정확성은 신뢰 붕괴로 이어진다는 점을 시사한다. 한계점으로는 샘플 규모가 작고, 단일 LLM(ChatGPT)와 특정 과제에 국한된 점, 그리고 ‘포기’ 정의가 과제 중단만을 의미한다는 점을 들 수 있다. 향후 연구에서는 다양한 모델·도구, 장기적인 협업 시나리오, 그리고 자동화된 맥락 유지 메커니즘을 탐색할 필요가 있다.