LLM으로 VSCode UX 냄새 자동 탐지

본 논문은 통합 개발 환경(IDE)인 Visual Studio Code(VSCode)의 사용자 경험(UX) 문제를 대규모로 탐지하고 분석하기 위해 최신 대형 언어 모델(LLM)을 활용한 자동화 방법을 제안한다. 연구 배경에서는 IDE가 개발자의 일상 작업 흐름을 매개하고 인지·협업에 영향을 미치는 핵심 도구임을 강조하면서, 기존 연구가 기능 성능이나 채택률에 집중해 UX, 특히 사용성에 대한 체계적 조사와 정량적 분석이 부족함을 지적한다. 또한 UXDebt라는 개념을 도입해, UX 문제를 미루면 장기적으로 기술 부채와 유사한 비용이 누적된다는 점을 설명한다. 관련 연구에서는 DEX(Developer Experience)와 UX 냄새 개념을 정리하고, 기존에 VSCode를 대상으로 한 사용자 테스트가 소규모·비용이 많이 드는 반면, 오픈 소스 레포지터리에서 자연 발생적인 사용자 보고를 수집하는 방법이 확장성이 높다는 점을 강조한다. 연구 방법은 세 단계로 구성된다. 1) 데이터 수집: GitHub REST API를 이용해 VSCode 공식 저장소에서 ‘UX’ 라벨이 붙은 2 350개의 이슈를 추출하였다. 2) LLM‑보조 분류: OpenAI GPT‑5 모델에 사전 정의된 UX 냄새 카탈로그를 제공하고, 각 이슈가 어느 냄새에 해당하는지, 그 근거를 설명하도록 프롬프트를 설계했다. 모델의 출력은 세 명의 연구자가 독립적으로 10 % 표본을 검증해 정확도 0.695를 확인했으며, 오류 패턴을 분석해 프롬프트와 카탈로그를 보강한 뒤 전체 데이터에 재적용했다. 인간 검증 라벨이 우선 적용되고, 보정된 자동 라벨이 나머지 이슈에 적용되는 반자동 파이프라인을 구축했다. 3) 기술·해석적 분석: 분류된 UX 냄새를 Kuusinen이 제시한 13가지 IDE 품질 차원에 매핑하고, 이를 네 개의 상위 클러스터(인지 투명성, 흐름 효율성, 구조적 신뢰성, 주변 경험)로 재구성했다. 각 클러스터별 특징을 정량적 빈도와 질적 사례를 통해 설명하고, ‘Salience‑Neglect 가설’과 ‘Saturation‑Resolution 가설’이라는 두 가지 해석적 프레임을 제시했다. 주요 결과는 다음과 같다. 전체 이슈 중 61 %인 1 455개가 UX 냄새로 식별되었으며, 가장 빈번한 품질 차원은 정보성(21.4 %), 명료성(19.7 %), 효율성(15.3 %), 직관성(13.3 %)이었다. 이는 Kuusinen이 강조한 핵심 IDE 특성과 일치한다. 반면 유연성, 학습성, 자율성 등 장기적인 경험 품질은 5 % 이하로 나타나, 현재 UX 냄새 탐지 체계가 단기적인 인터랙션 마찰에 집중하고 있음을 보여준다. 클러스터별로는 인지 투명성(54 %)이 가장 큰 비중을 차지해, 피드백 부족·툴팁 불명확·아이콘 일관성 결여 등이 누적된 인지적 부채로 해석된다. 흐름 효율성(29 %)은 메뉴 과다·설정 위치 불일치 등 작업 흐름을 방해하는 마찰을 포함하고, 구조적 신뢰성(12 %)은 렌더링 지연·테마 불일치 등 근본적인 구현 제약을 반영한다. 주변 경험(5 %)은 현재 낮은 빈도로 나타나지만, 설계 우선순위가 낮아 잠재적 부채가 누적될 위험이 있다. 논의에서는 이러한 분포가 ‘Salience‑Neglect 가설’을 지지한다는 점을 강조한다. 즉, 가장 가치 있는 품질일수록 UX 냄새가 집중되어 설계·개선 자원이 충분히 투입되지 않아 부채가 축적되고 있다. 반면 ‘Saturation‑Resolution 가설’에 따르면, 주변 품질에 냄새가 적은 것은 핵심 기능이 안정화된 단계이며, 향후 설계 개선이 주변 경험으로 확장될 여지를 시사한다. 제한점으로는 LLM의 분류 정확도가 완벽하지 않아 인간 검증이 필수적이며, ‘UX’ 라벨이 없는 이슈를 놓칠 가능성이 있다는 점을 들었다. 또한 단일 IDE에 국한된 연구이므로 다른 IDE에 대한 일반화 검증이 필요하다. 향후 연구에서는 다중 LLM 앙상블, 라벨링 자동화, 그리고 IntelliJ·Eclipse 등 다른 IDE에 대한 적용을 통해 방법론의 확장성을 검증하고, UXDebt 관리 프레임워크를 정교화할 계획이다. 결론적으로, 이 논문은 LLM을 활용한 대규모 레포지터리 마이닝이 IDE UX 냄새 탐지에 실용적이며, 개발자 경험을 정량화하고 UXDebt을 사전 예방적으로 관리하는 새로운 방법론적 길을 제시한다.