변환기 기반 감정 정렬의 역전 위험과 방언 편향

초록

이 논문은 벵골어와 영어 사이의 감정 정렬을 네 가지 변환기 모델(XLM‑R, IndicBERT, mDistilBERT, Tabularis)로 평가한다. 압축 모델인 mDistilBERT는 28.7%의 감정 역전율을 보이며, 공식(사두) 방언에서 오류가 크게 증가한다. 또한 모델마다 영어와 벵골어 사이에 비대칭적인 감정 강도 차이(Asymmetric Empathy)가 존재한다. 저자는 정서적 안정성(Affective Stability) 지표를 도입해 다언어·다방언 환경에서의 정렬 안전성을 평가할 것을 제안한다.

상세 분석

본 연구는 인간‑AI 상호작용에서 감정 정렬의 정확성이 신뢰와 안전에 직결된다는 전제 하에, 저자들이 설계한 통합 메트릭 체계를 통해 네 가지 변환기 모델의 교차언어 감정 일관성을 정량화하였다. 데이터는 7,350개의 벵골어‑영어 병렬 문장으로 구성되며, 사두(Sadhu)와 촐리토(Cholito) 두 방언으로 균등히 나뉜다. 각 모델은 동일 파라미터를 사용해 두 언어 스트림을 독립적으로 추론하고, 정규화된 감정 점수(−1~1)로 변환한다. 이후 ‘정렬 발산(Alignment Divergence)’, ‘방향성 편향(Directional Bias)’, ‘극성 역전(Polarity Inversion)’ 등 네 가지 핵심 지표를 산출하고, 평균 발산, 표준편차, 견고성 지수(Robustness), 역전율(Inversion Rate) 등을 집계한다.

실험 결과, 압축된 mDistilBERT는 평균 발산 0.417, 역전율 28.7%로 가장 불안정했으며, 특히 사두 방언에서 57% 수준의 오류 증가를 보였다. 이는 모델 용량 감소가 감정 표현의 미세한 차이를 포착하지 못함을 의미한다. 반면 대규모 다언어 모델인 XLM‑R은 평균 발산 0.200, 역전율 8.6%에 그쳐, 파라미터 규모와 다양성이 정렬 안정성에 기여함을 시사한다. IndicBERT은 사두 방언에서 48.4%의 오류 증가를 보이며 ‘Modern Bias’(현대 방언 편향)를 나타냈다. 방향성 편향 측면에서는 mDistilBERT가 음의 평균 편향(벵골어가 더 긍정적으로 평가)으로 ‘Bengali Positivity Skew’를, IndicBERT는 양의 평균 편향(영어가 더 긍정적으로 평가)으로 ‘English Optimism Bias’를 보여, 언어별 감정 강도 차이가 시스템적 불공평을 초래함을 확인했다.

저자는 이러한 현상이 단순한 정확도 감소를 넘어, 사용자의 정서적 의도와 AI 응답 사이의 신뢰 단절을 야기한다며, 특히 정신건강 지원이나 콘텐츠 검열 같은 안전‑중요 분야에서 치명적이라고 경고한다. 따라서 ‘Affective Stability’와 같은 정서적 일관성을 직접 penalize하는 평가 지표를 벤치마크에 포함하고, 문화·방언 다양성을 반영한 다중 정렬 프레임워크를 구축할 것을 제안한다.