LLM을 활용한 스팬 주석: 인간과의 비교 연구

초록

본 논문은 데이터‑투‑텍스트 생성 평가, 기계번역 오류 식별, 선전 기법 탐지 등 세 가지 스팬 주석 작업에서 최신 대형 언어 모델(LLM)의 성능을 숙련된 인간 주석가와 비교한다. LLM은 인간과 중간 수준의 상호 주석 일치도(IAA)를 보였으며, 오류 발생 비율은 숙련된 크라우드워커와 유사했다. 비용 측면에서 LLM은 인간보다 훨씬 저렴하게 주석을 생성할 수 있었으며, 40 k 이상의 인간·모델 주석 데이터를 공개한다.

상세 분석

이 연구는 스팬 주석을 텍스트 평가의 세밀한 피드백 메커니즘으로 재조명한다. 기존 자동 평가 지표가 전체 텍스트에 대한 단일 점수만 제공하는 반면, 스팬 주석은 오류 혹은 특징이 나타나는 정확한 위치와 유형을 명시함으로써 해석 가능성을 크게 높인다. 논문은 세 가지 도메인(데이터‑투‑텍스트, 기계번역, 선전 탐지)을 선정했으며, 각각 1,296·2,854·914개의 텍스트에 대해 인간과 LLM 주석을 수집했다. LLM은 구조화된 프롬프트와 JSON 형식의 제약 디코딩을 통해 스팬(start, end), 카테고리, 이유(reason)를 출력하도록 설계되었다. 평가 지표로는 스팬 수의 피어슨 상관계수, 하드/소프트 버전의 Precision·Recall·F1, γ‑score, 그리고 빈 주석에 대한 S∅‑score를 도입해 다각도 비교를 수행했다. 결과적으로 LLM은 전체적으로 중간 수준의 IAA(예: F1≈0.55~0.68)를 기록했으며, 인간 크라우드워커와 비슷한 오류 비율을 보였다. 특히 프롬프트 설계가 성능에 큰 영향을 미쳐, 5‑shot, 코팅(prompt‑cot) 등 다양한 변형을 실험했을 때 주석 수와 정확도가 변동했다. 오류 분석에서는 LLM이 복잡한 논리적 관계를 파악하거나 다중 카테고리 중첩을 처리할 때 실수가 빈번했으며, 이는 모델이 이유(reason)를 충분히 생성하지 못하거나 스팬 경계 선택이 부정확한 경우가 많았다. 비용 측면에서는 LLM이 인간 주석당 평균 0.02 USD 이하의 비용으로 주석을 생성해, 대규모 데이터셋 구축에 경제적 이점을 제공한다. 마지막으로 40 k 이상의 인간·모델 주석과 LLM 추론 로그를 공개함으로써 후속 연구의 재현성과 확장을 지원한다.