AI 코드 제안 수용 예측 대규모 산업 데이터 기반 맞춤형 모델 CSAP

초록

본 논문은 대형 기술 기업에서 수집한 66,329건의 개발자‑AI 상호작용 로그를 분석해 코드 제안 수용에 영향을 미치는 핵심 특성을 도출하고, 이를 기반으로 제안 수용 여부를 사전에 예측하는 경량 신경망 모델 CSAP를 제안한다. CSAP는 불균형·균형 데이터셋에서 각각 0.973, 0.922의 정확도를 기록하며, 기존 LLM 기반 베이스라인 및 현업 필터 대비 크게 성능이 향상된다.

상세 분석

이 연구는 AI‑지원 코딩 도구가 개발자 흐름을 방해하는 ‘거절’ 현상을 정량적으로 규명하고자 하는 명확한 동기를 갖는다. 66,329건이라는 규모는 산업 현장에서 실제 사용되는 로그를 활용했으며, 이는 기존 학술 연구가 주로 설문·인터뷰에 의존하던 한계를 뛰어넘는다. 논문은 특성 설계 단계에서 개발자 습관, 프로젝트 선호, 인‑시투(context) 세 차원을 정의하고, 각각에 대해 7일 윈도우를 적용해 최근 행동을 요약한다.

통계적 유의성 검증 결과, ‘수용 횟수·비율(개인·프로젝트 수준)’이 가장 강력한 예측 변수임을 확인한다. 이는 개발자가 과거에 AI 제안을 얼마나 신뢰했는지를 반영하는 지표로, 개인화된 필터링의 필요성을 강조한다. 또한, ‘생성 간격’이 길수록 수용 확률이 높아지는 현상은, 개발자가 충분한 고민 시간을 가질 때 AI 제안을 더 긍정적으로 평가한다는 의미로 해석될 수 있다. ‘선행 코드 컨텍스트 길이’가 짧을수록 수용률이 높다는 결과는, 복잡한 주변 코드가 제안 품질을 저하시킬 가능성을 시사한다. 흥미롭게도 ‘IDE 버전’이 오래될수록 수용률이 높았는데, 이는 최신 IDE가 제공하는 자동 완성·리팩터링 기능이 강화되면서 개발자가 AI 제안에 덜 의존하게 되는 현상으로 볼 수 있다.

예측 모델 CSAP는 이러한 핵심 특성을 입력으로 하는 단순 다층 퍼셉트론 구조이며, 클래스 불균형을 완화하기 위해 가중치가 조정된 이진 교차 엔트로피 손실을 사용한다. 실험에서는 불균형 데이터셋(긍정·부정 비율 ≈ 1:4)과 인위적으로 균형을 맞춘 데이터셋 두 가지 상황에서 평가했으며, 각각 0.973, 0.922의 정확도를 달성했다. 특히, 대형 언어 모델(Qwen2.5‑Coder‑32B)과 현업에 배포된 ‘Circuit Breaker’ 필터와 비교했을 때, 정확도 향상이 각각 12.6 %·69.5 %(불균형)와 87.0 %·140.1 %(균형)으로 나타나, 맞춤형 특성 기반 접근법이 일반적인 LLM 기반 품질 추정보다 훨씬 효과적임을 입증한다.

특성 중요도 분석에서는 ‘in‑situ IDE version’과 ‘developer_accepted_ratio’가 가장 높은 기여도를 보였으며, 이는 실시간 환경과 개발자의 과거 수용 행동이 예측에 핵심임을 다시 한 번 확인한다. 모델 자체가 가볍고 실시간 추론이 가능하므로, IDE 플러그인 수준에서 제안 전 필터링을 적용해 개발자 방해를 최소화할 수 있다.

전체적으로 이 논문은 (1) 대규모 산업 로그를 활용한 최초의 정량적 수용 연구, (2) 개발자·프로젝트 수준 히스토리를 포함한 특성 설계, (3) 실용적인 경량 모델 제안이라는 세 축에서 의미 있는 기여를 한다. 향후 연구에서는 제안 내용 자체의 품질(문법·논리적 정확성)과 개발자 개인의 코딩 스타일을 더 정교히 매핑하거나, 강화학습을 통한 실시간 정책 최적화 등을 탐색할 여지가 있다.