자동 튜링 테스트를 위한 대화 평가 모델 ADEM

초록

본 논문은 비정형 대화에서 생성된 응답의 품질을 자동으로 평가하기 위해 인간 평점 데이터를 활용한 학습 기반 모델 ADEM을 제안한다. 계층적 RNN 인코더로 대화 맥락, 모델 응답, 레퍼런스 응답을 임베딩하고, 선형 변환된 내적을 통해 점수를 예측한다. BLEU 등 기존 단어‑중첩 지표보다 인간 판단과의 상관계수가 크게 향상되었으며, 훈련에 사용되지 않은 새로운 대화 모델에도 일반화 가능함을 보였다.

상세 분석

대화 시스템의 성능을 정량화하는 작업은 기존에 기계 번역에서 차용한 BLEU, METEOR, ROUGE와 같은 단어‑중첩 기반 지표에 크게 의존해 왔다. 그러나 대화는 정답이 하나로 제한되지 않고, 동일한 맥락에 대해 다양한 적절한 응답이 존재한다는 특성 때문에 이러한 지표는 의미적 유사성을 포착하지 못하고, 인간 평가와의 상관관계가 낮다. 논문은 이 문제를 “자동 튜링 테스트”라는 관점에서 접근한다. 즉, 인간 평가자가 매긴 ‘적절성(appropriateness)’ 점수를 예측하는 모델을 학습함으로써, 인간 수준의 평가를 자동화하고자 한다.

데이터 구축 단계에서 저자들은 Twitter 대화 코퍼스를 활용해 4가지 출처(TF‑IDF 검색, Dual Encoder, HRED, 인간 생성)에서 후보 응답을 수집하고, AMT 작업자를 통해 1~5점 척도의 적절성 점수를 부여받았다. 총 4,104개의 예시(컨텍스트, 모델 응답, 레퍼런스 응답, 인간 점수)로 구성된 데이터셋은 훈련/검증/테스트 비율을 각각 70/15/15로 분할하였다.

모델 ADEM은 계층적 RNN 인코더(utterance‑level LSTM → context‑level LSTM)를 사용해 세 개의 텍스트(c, r̂, r)를 각각 𝑐, 𝑟̂, 𝑟 벡터로 변환한다. 점수 예측 함수는
score(c,r̂,r) = (cᵀ M r̂ + rᵀ N r̂ − α) / β
이며, M과 N은 학습 가능한 선형 변환 행렬(초기값은 항등행렬)이다. 이 구조는 모델 응답을 컨텍스트와 레퍼런스 공간에 동시에 투사해, 두 공간과의 유사도가 높을수록 높은 점수를 부여한다. 손실은 인간 점수와의 평균 제곱 오차에 L2 정규화를 더한 형태이며, 최적화는 Adam을 사용한다.

학습 효율을 높이기 위해 저자들은 사전학습 단계로 VHRED(잠재 변수 기반 HRED)를 도입했다. VHRED는 대규모 비지도 대화 데이터를 이용해 계층적 인코더를 학습하고, 이후 ADEM의 인코더 가중치를 초기화한다. 이렇게 하면 제한된 인간 라벨만으로도 강건한 임베딩을 얻을 수 있다.

실험 결과, ADEM은 발화 수준에서 Pearson 상관계수 0.42, 시스템 수준에서는 0.68을 기록했으며, 이는 BLEU‑4(0.10 이하)와 비교해 현저히 높은 수치다. 또한, 훈련에 사용되지 않은 최신 대화 모델(예: Seq2Seq‑Attention, Transformer‑based)에 대해 테스트했을 때도 높은 상관성을 유지해 일반화 능력을 입증했다. 길이 편향을 방지하기 위해 응답 길이에 따라 샘플링을 재조정했으며, 길이와 점수 간의 상관관계는 0.27에 불과했다.

한계점으로는 레퍼런스 응답이 필요하다는 점, 그리고 인간 평점이 ‘적절성’에 국한돼 다른 품질 차원(예: 풍부함, 창의성)에는 확장되지 않을 수 있다는 점을 언급한다. 향후 연구에서는 다중 레퍼런스, 다차원 평점, 그리고 강화학습 기반 평가와의 결합을 제안한다.