불일치를 학습하는 LeWiDi 2025 NLPerspectives 제3판

초록

LeWiDi‑2025 공유 과제는 패러프레이즈, 아이러니, 풍자, 자연어 추론 네 가지 주관적 작업을 대상으로, 인간 판단의 불일치를 모델링하고 평가하는 두 가지 패러다임(소프트 라벨 예측과 개인별 관점 예측)을 제시한다. 새로운 거리 기반 평가 지표와 Likert‑스케일 라벨을 도입해 기존 교차 엔트로피 기반 평가의 한계를 보완하였다.

상세 분석

본 논문은 인간 주관성에 기인한 라벨 불일치를 그대로 보존하고 활용하는 학습·평가 프레임워크인 LeWiDi 시리즈의 세 번째 에디션을 상세히 소개한다. 첫 번째와 두 번째 에디션이 각각 이미지·텍스트 혼합, 영어·아라비아어 두 언어에 국한된 주관적 현상(예: 혐오 표현)만을 다룬 반면, 이번 2025년 버전은 네 개의 전혀 다른 NLP 태스크—패러프레이즈 식별, 아이러니 탐지, 풍자(대화형) 탐지, 자연어 추론(NLI)—를 포괄한다. 특히 두 데이터셋(Par와 CSC)은 연속형 Likert‑스케일(–55, 16) 라벨을 제공함으로써, 기존의 이산형 카테고리 라벨만을 다루던 평가 체계에 새로운 차원을 추가한다.

평가 패러다임은 크게 두 갈래로 나뉜다. 첫 번째인 소프트 라벨 예측(Task A)에서는 모델이 각 아이템에 대해 인간 집단이 만든 라벨 분포를 직접 예측한다. 기존 LeWiDi에서는 교차 엔트로피를 거리 측정으로 사용했지만, 본 연구는 다중 클래스·다중 라벨 상황과 연속형 라벨에 더 적합한 Manhattan 거리와 Wasserstein 거리(특히 ordinal 데이터에 적용)를 기본 메트릭으로 채택한다. Manhattan 거리는 확률 질량의 절대 차이를, Wasserstein 거리는 라벨 순서 간 이동 비용을 반영해 보다 직관적인 오류 측정을 가능하게 한다.

두 번째인 관점 예측(Task B)에서는 개별 annotator의 라벨을 예측한다. 여기서는 명목형 라벨(아이러니, NLI)에는 평균 오류율(Average Error Rate, AER)을, 순서형 라벨(Par, CSC)에는 정규화 절대 거리(ANAD)를 사용한다. 특히 ANAD는 라벨 스케일의 범위를 고려해 0~100 사이의 퍼센트 점수로 변환함으로써, 서로 다른 스케일을 가진 데이터셋 간 비교를 용이하게 만든다.

데이터 구성 측면에서, CSC는 7,000여 개의 상황‑응답 쌍에 대해 16 단계의 풍자 정도를 다중 annotator가 평가했으며, MP는 9개 언어(아라비아어·네덜란드어·영어·스페인어·프랑스어·히디어·이탈리아어·포르투갈어·독일어)에서 아이러니 여부를 이진 라벨로 수집했다. VEN은 MNLI 재주석본으로, 각 아이템에 대해 다중 라벨(Entailment, Neutral, Contradiction)과 설명을 제공했으며, Par는 Quora 질문 쌍 500개에 대해 –55 스케일의 패러프레이즈 정도를 4명의 annotator가 독립적으로 매겼다.

참가자 수는 53명(등록) 중 15팀이 실제 제출을 했으며, 9편의 시스템 논문이 발표되었다. 베이스라인으로는 무작위와 가장 빈도 라벨을 이용한 두 가지 간단한 모델을 제공했는데, 이는 참가자들이 보다 정교한 불일치 모델을 설계하도록 유도하는 역할을 했다. 결과 분석에서는 확률 분포를 직접 예측하는 소프트 라벨 접근법이 다중 라벨·연속형 데이터에서 특히 높은 성능을 보였으며, 관점 예측에서는 annotator‑별 특성을 잘 포착한 모델이 오류율을 크게 낮추는 것으로 나타났다.

전반적으로 LeWiDi‑2025는 불일치를 단순히 “노이즈”로 치부하지 않고, 모델이 인간 다양성을 학습·예측하도록 설계된 최초의 대규모 멀티태스크 벤치마크이다. 거리 기반 평가 지표와 Likert‑스케일 라벨 도입은 향후 주관적 NLP 연구에서 보다 정교한 성능 측정과 모델 설계에 중요한 기준점을 제공한다.