음성 LLM 편향 벤치마크 일반화 가능성 탐구

초록

본 연구는 음성 기반 대형 언어 모델(SpeechLLM)의 성별 편향을 평가하는 기존 다중선택 질문(MCQA) 벤치마크가 다른 MCQA 세트와 장문의 생성 과제에 일관되게 적용되는지를 검증한다. LoRA 어댑터를 이용해 세 모델을 편향‑선호, 반편향‑선호, 중립‑응답으로 미세조정한 뒤, 교차 벤치마크와 장문 과제에서 행동 전이 여부를 측정한다. 결과는 MCQA 성능이 다른 MCQA와 장문 과제에서 신뢰할 수 있게 전이되지 않으며, 현재 MCQA 벤치마크만으로 실제 사용 상황의 편향을 예측하기 어렵다는 점을 보여준다.

상세 분석

이 논문은 음성 LLM의 편향 측정 방법론에 근본적인 의문을 제기한다. 먼저, 세 가지 SpeechLLM(Qwen2‑Audio‑7B‑Instruct, LTU‑AS, LLaMA‑Omni)을 선택하고, LoRA 어댑터를 전층 어텐션·피드포워드에 적용해 세 가지 행동(스테레오타입 선택, 반스테레오타입 선택, 중립/불확실 선택)을 강제한다. 미세조정 데이터는 두 개의 MCQA 벤치마크—Spoken StereoSet(SSS)와 새로 만든 SA GE—에서 각각 800개 샘플을 사용했으며, 각 샘플은 남·여 TTS 음성, 직업·대명사 교체 등으로 다양성을 확보했다. 교차‑벤치마크 실험에서는 한 벤치마크에서 학습된 행동이 다른 벤치마크에 부분적으로만 전이되었고, 전이 정도는 모델마다 크게 달랐다. 특히 LLaMA‑Omni는 ‘중립’ 미세조정 후 70% 이상이 “None of the above”를 선택해 옵션 자체를 회피하는 이상 행동을 보였다. 장문 과제(SA GE‑LF)에서는 네 가지 실제 시나리오(치료, 진로 조언, 인터뷰 스크리닝, 스토리 생성)를 사용해 1‑5 점 척도로 평가했으며, MCQA에서 기대한 편향 감소(예: 여성에 대한 STEM·리더십 점수 상승, 감정 검증 점수 감소)가 일관되지 않았다. 일부 차원에서는 의도와 반대 방향으로 편향이 이동하거나, 과제별로 효과가 상이했다. 결과는 MCQA 기반 편향 벤치마크가 실제 장문 생성 상황에서 모델의 편향 행동을 예측하거나 제어하는 데 한계가 있음을 강력히 시사한다. 논문은 이러한 한계를 보완하기 위해 음성 입력과 실제 사용 맥락을 반영한 장문 평가 스위트를 공개하고, 향후 벤치마크 설계 시 ‘행동 전이 가능성’ 측정을 필수 요소로 포함할 것을 제안한다.