대화 요약 오류 평가를 위한 계층적 프레임워크 DIALSUMMER

초록

본 논문은 대화 요약에서 발생하는 구조적·서술적 오류를 체계적으로 분석하기 위해 DIALSUMMER라는 두 단계(대화‑레벨, 턴‑내 레벨) 오류 분류 체계를 제안한다. 192개의 멀티턴 대화와 그 요약을 인간이 세밀히 라벨링한 데이터셋을 구축하고, 최신 LLM을 활용한 자동 오류 탐지 실험을 통해 현재 모델들의 한계와 향후 연구 방향을 제시한다.

상세 분석

DIALSUMMER는 기존 대화 요약 평가가 뉴스 요약에 적용된 메트릭을 그대로 옮겨쓴 데서 발생하는 근본적인 문제점을 정확히 짚어낸다. 특히 대화는 화자·턴이라는 이중 구조를 가지며, 요약에서는 1인칭·2인칭에서 3인칭 서술로 전환되는 ‘시점 전환’이 필수적인데, 이 두 축을 동시에 고려하지 않으면 중요한 오류를 놓치게 된다. 논문은 이를 해결하기 위해 ‘대화‑레벨’ 오류(잘못된 턴 순서, 턴 누락, 화자 혼동, 화자 정체성 편향, 시점 왜곡, 외부 대화 삽입 등)와 ‘턴‑내 레벨’ 오류(잘못된 연결, 의미 변형, 외부 컨텍스트 삽입, 대화 누락 등)로 구분된 10가지 세부 카테고리를 정의한다. 각 오류는 명확한 정의와 예시를 제공해 라벨링 일관성을 높였으며, 기존 오류 분류에서 모호하게 다뤄졌던 ‘모순’이나 ‘불일치’와 같은 항목을 세분화하거나 제거함으로써 상호 배타성을 확보했다.

데이터셋 구축 과정에서도 주목할 점이 있다. 저자들은 Anthropic‑Test에서 추출한 192개의 멀티턴 대화를 선택하고, 각 대화‑요약 쌍에 대해 인간 라벨러가 오류 유형, 오류가 발생한 요약 문장, 그리고 라벨링 근거를 상세히 기록하도록 설계했다. 이는 단순히 오류 존재 여부를 판단하는 수준을 넘어, 오류의 위치와 원인을 정량·정성적으로 분석할 수 있게 한다. 분석 결과, 대화 중간에 위치한 턴이 요약에서 가장 많이 누락되고, 요약의 마지막 부분에서 외부(Extrinsic) 환각 오류가 집중되는 경향을 발견했다. 이러한 패턴은 요약 모델이 초기 정보는 잘 포착하지만, 대화 흐름을 전체적으로 추적하지 못한다는 점을 시사한다.

LLM‑Judge 실험에서는 GPT‑4, Claude, Llama‑2 등 최신 모델들을 few‑shot 프롬프트와 함께 오류 탐지에 적용했으며, 전체 정확도는 60~70% 수준에 머물렀다. 특히 ‘시점 왜곡’이나 ‘화자 정체성 편향’과 같은 서술적 오류는 모델이 인식하기 어려운 반면, ‘잘못된 턴 순서’와 같은 구조적 오류는 비교적 높은 탐지율을 보였다. 오류 탐지 성능이 taxonomy를 프롬프트에 명시했을 때 향상되는 점은, 평가 프레임워크 자체가 LLM에게 명확한 가이드라인을 제공한다는 의미이며, 향후 자동 평가 파이프라인에 taxonomy를 내장하는 방안이 유망함을 보여준다.

한계점으로는 데이터 규모가 아직 작고, 특정 도메인(예: 고객‑에이전트 대화) 중심이라는 점, 그리고 ‘완전성’ 오류의 정의가 애매모호해 라벨러 간 일관성에 영향을 줄 수 있다는 점을 들 수 있다. 또한, 현재 LLM‑Judge가 보여준 중간 수준의 성능은 실제 서비스에 바로 적용하기엔 부족하며, 오류 유형별 맞춤형 프롬프트 설계와 사후 보정 메커니즘이 필요하다.

종합적으로 DIALSUMMER는 대화 요약 평가에 필요한 세밀한 오류 구분을 제공함으로써, 모델 개발자와 평가자가 보다 구체적인 피드백을 얻을 수 있게 한다. 향후 연구에서는 더 큰 규모와 다양한 도메인의 데이터셋 구축, 자동 라벨링을 위한 semi‑supervised 방법, 그리고 오류 교정(Repair) 모델과의 연계 등을 통해 평가와 생성 양쪽을 동시에 고도화할 여지가 크다.