LLM 기반 자동 이슈 할당을 위한 지도 미세조정 LIA

초록

LIA는 사전 학습된 대형 언어 모델(DeepSeek‑R1‑Distill‑Llama‑8B)을 소프트웨어 이슈와 개발자 매칭 데이터로 지도 미세조정하여, 이슈 제목·설명만으로 개발자를 순위화해 추천한다. 실험 결과, 기본 모델 대비 Hit@1이 최대 187.8% 향상되고, 기존 4개 최첨단 방법 대비 최대 211.2% 개선되었다.

상세 분석

본 논문은 소프트웨어 유지보수에서 핵심적인 “이슈 할당” 문제를 LLM 기반 접근법으로 해결한다는 점에서 의미가 크다. 기존 자동 할당 기법은 프로젝트‑특정 라벨링 데이터나 파일‑커밋 연관성 등 구조화된 메타데이터에 크게 의존했으며, 데이터가 부족하거나 노이즈가 많을 경우 성능이 급격히 저하되는 한계를 가지고 있었다. LIA는 이러한 제약을 완화하기 위해 사전 학습된 대형 언어 모델의 풍부한 자연어 이해 능력을 활용한다. 구체적으로, DeepSeek‑R1‑Distill‑Llama‑8B를 이슈‑개발자 매핑 로그(이슈 제목·본문 ↔ 담당 개발자)로 구성된 데이터셋에 대해 지도(supervised) 방식으로 미세조정한다. 모델은 입력 텍스트를 그대로 받아 개발자 ID 리스트를 순위화된 토큰 시퀀스로 출력하도록 학습되며, 별도의 특징 추출기나 그래프 기반 연산이 필요 없다.

학습 과정에서 저자는 “프롬프트 설계”와 “라벨 인코딩”을 신중히 다루었다. 이슈 텍스트 앞에 고정 프롬프트 “Assign developers:”를 삽입하고, 개발자 이름을 사전 정의된 토큰 시퀀스로 매핑함으로써 모델이 순위형 출력에 적합하도록 유도한다. 또한, 클래스 불균형을 완화하기 위해 과소대표 개발자에 대한 가중치를 조정하고, 샘플링 전략으로 소수 클래스 데이터를 증강하였다.

평가에서는 Hit@k, MAP, MRR 등 다중 지표를 사용했으며, 특히 Hit@1이 가장 큰 개선폭을 보였다. LIA는 기본 사전 학습 모델 대비 Hit@1이 평균 187.8% 상승했으며, 기존 4개 베이스라인(전통적인 텍스트 분류기, 그래프 기반 메소드, 최근의 트랜스포머 기반 모델 등) 대비 최고 211.2% 향상을 기록했다. 이러한 성능 향상은 LLM이 이슈 텍스트 내에 내재된 개발자 전문성, 모듈 연관성, 과거 작업 패턴 등을 암묵적으로 학습했기 때문으로 해석된다.

한계점으로는 대형 모델의 추론 비용과 메모리 요구량이 여전히 높으며, 실시간 할당 시스템에 적용하려면 효율적인 압축·양자화 기법이 필요하다는 점을 지적한다. 또한, 데이터 프라이버시와 라이선스 문제도 고려해야 한다. 향후 연구에서는 멀티모달(코드 스니펫, 변경 파일) 입력을 결합하거나, 라벨 스무딩을 통한 불확실성 모델링을 탐색할 여지가 있다.