다차원 감정 기반 다국어 ABSA 데이터셋 “DimABSA” 출시

초록

DimABSA는 6개 언어·4개 도메인에 걸쳐 76,958개의 어스펙트 인스턴스를 수집·주석한 최초의 다차원(Valence‑Arousal) ABSA 자원이다. 전통적인 긍·부정 라벨을 넘어 연속적인 VA 점수를 제공하고, 세 가지 서브태스크(Aspect‑VA 회귀, 트리플 추출, 쿼드러플 추출)를 정의한다. 연속 F1(cF1)이라는 새로운 평가지표와 LLM 기반 베이스라인을 제시해, 기존 카테고리형 ABSA보다 훨씬 더 정교한 감정 분석이 가능함을 입증한다.

상세 분석

DimABSA는 기존 ABSA 연구가 갖는 “긍정/부정”이라는 이산형 레이블 한계를 극복하고자, 감정의 연속적인 두 축인 Valence(쾌감‑불쾌감)와 Arousal(활성‑비활성)을 0‑1 구간의 실수값으로 표기한다. 이를 위해 6개 언어(영어, 중국어, 일본어, 러시아어, 우크라이나어, 기타)와 4개 도메인(레스토랑, 전자제품, 호텔, 서비스 등)에서 42,590개의 문장을 수집하고, 각 문장에 대해 Aspect Term, Aspect Category, Opinion Term을 식별한 뒤, 해당 어스펙트에 대한 VA 점수를 별도로 주석하였다. 전체 어스펙트 인스턴스는 76,958개에 달한다.

주석 과정은 3단계로 구성된다. 첫 번째 단계에서는 전문 어노테이터가 Aspect Term, Category, Opinion Term을 추출하고, 두 번째 단계에서 다국어 원어민이 각 어스펙트에 대한 Valence와 Arousal을 0‑1 스케일로 평가한다. 마지막 단계에서는 교차 검증과 평균 제곱 오차(RMSE) 등을 이용해 주석 품질을 검증했으며, 언어별·도메인별로 일관된 품질을 확보했다. 특히 VA 점수는 U‑shaped 분포를 보이며, 긍정·부정 양극단에 높은 밀도가 존재함을 확인했다.

DimABSA는 세 가지 서브태스크를 제안한다. ① Dimensional Aspect Sentiment Regression (DimASR)은 주어진 어스펙트에 대해 VA 값을 직접 예측한다. ② Dimensional Aspect Sentiment Triplet Extraction (DimASTE)은 (Aspect, Category, Opinion) 삼중항과 함께 해당 VA 점수를 출력한다. ③ Dimensional Aspect Sentiment Quadruplet Extraction (DimASQP)은 (Aspect, Category, Opinion, VA) 네 요소를 동시에 추출한다. 연속적인 감정값을 포함하는 만큼 기존의 F1 점수만으로는 성능을 충분히 평가할 수 없었다. 따라서 저자들은 표준 F1에 VA 예측 오차를 가중치로 결합한 연속 F1(cF1) 지표를 설계했으며, 이는 정밀도·재현율과 감정 회귀 정확도를 동시에 반영한다.

베이스라인 실험에서는 GPT‑3.5‑Turbo, GPT‑4, LLaMA‑2, Alpaca 등 최신 대형 언어 모델을 프롬프트 기반과 파인튜닝 기반 두 방식으로 평가했다. 전체적으로 모든 모델이 인간 수준에 미치지 못했으며, 특히 다국어·다도메인 상황에서 성능 저하가 두드러졌다. 특히 cF1 점수는 0.45 ~ 0.58 사이로, 기존 카테고리형 ABSA 데이터셋 대비 약 15 % 정도 낮은 결과를 보였다. 이는 연속적인 감정 표현이 모델에게 새로운 도전 과제임을 시사한다.

이 논문은 (1) 다국어·다도메인 차원의 대규모 연속 감정 ABSA 데이터셋 제공, (2) 연속 감정값을 포함한 새로운 서브태스크 정의, (3) 연속 F1(cF1)이라는 통합 평가지표 제안, (4) 최신 LLM을 활용한 포괄적 벤치마크 구축이라는 네 가지 주요 공헌을 한다. DimABSA는 감정 분석 연구가 이산형 라벨을 넘어 보다 미세하고 인간에 가까운 감정 표현을 다룰 수 있는 기반을 제공한다.