소형 언어 모델의 허위 중립성 탐구와 편향 평가 프레임워크

초록

본 논문은 0.5 ~ 5 B 파라미터 규모의 소형 언어 모델(SLM) 9종을 대상으로, 편향·유용성·모호성 처리·위치 편향 네 가지 차원을 동시에 평가하는 Vacuous Neutrality Framework(VaNeu)를 제안한다. 기존 편향 점수만으로는 드러나지 않는 ‘허위 중립성’ 현상을 밝혀내고, 모델 크기·아키텍처·압축 방법에 따라 편향 행동이 어떻게 달라지는지를 실증한다.

상세 분석

VaNeu는 편향(Bias), 유용성(Utility), 모호성 처리(Ambiguity Handling), 위치 편향(Positional Bias) 네 단계로 구성된 다차원 평가 체계이다. 첫 단계에서는 BBQ, StereoSet, CrowS‑Pairs와 같은 기존 편향 벤치마크의 Bias Score 혹은 Stereo Score를 그대로 사용해 모델이 스테레오타입을 얼마나 선호하는지 정량화한다. 여기서 중요한 점은 ‘편향 점수가 낮다’는 것이 반드시 ‘공정함’을 의미하지 않는다는 가정이다. 두 번째 단계인 유용성에서는 동일 벤치마크를 활용해 Language Modeling Score(LMS) 혹은 BBQ의 F1 점수를 측정한다. 이는 모델이 실제 과업을 얼마나 정확히 수행하는지를 보여주며, 편향이 낮은 모델이라도 성능이 떨어지면 실용성이 결여된다는 점을 강조한다. 세 번째 단계인 모호성 처리에서는 특히 BBQ의 ‘Unknown’ 라벨을 활용해 모델이 불확실한 상황에서 적절히 abstain(포기)하는지, 혹은 무작위 혹은 편향된 추측을 하는지를 TNR(Target‑to‑NonTarget Ratio)과 UR(Unknown Ratio)로 평가한다. 이 지표들은 모델이 과도하게 확신을 보이면서도 실제로는 근거가 없는 답변을 내놓는 ‘과잉 확신’ 문제를 드러낸다. 마지막 단계인 위치 편향은 다중 선택형 질문에서 특정 옵션(A, B, C 등)에 과도하게 몰리는 현상을 KL divergence을 정규화한 값으로 측정한다. 이는 모델이 표면적인 패턴(예: 항상 첫 번째 옵션 선택)으로 문제를 해결하려는 경향을 포착한다.

실험에서는 Qwen2.5, LLaMA3.2, Gemma3, Phi 등 네 패밀리의 9개 모델을 ‘Tiny(0.5‑2 B)’와 ‘Small(2‑4 B)’ 두 그룹으로 나누어 10번의 랜덤 시드 반복 평가를 수행했다. 결과는 크게 두 가지 패턴을 보여준다. 첫째, 일부 모델은 편향 점수가 거의 0에 가깝지만, 유용성 점수가 현저히 낮고 Unknown Ratio가 과도하게 높아 실제로는 ‘무작위 추측’ 혹은 ‘무조건 abstain’하는 형태의 허위 중립성을 보였다. 둘째, 반대로 편향 점수가 다소 높아도 높은 F1·LMS 점수를 유지하며, 모호한 상황에서도 적절히 Unknown을 선택하는 모델이 존재했다. 이는 편향과 성능이 반드시 트레이드오프 관계에 있지 않으며, 압축 기법(프루닝, 양자화 등)의 선택에 따라 편향이 감소하거나 오히려 증폭될 수 있음을 시사한다. 특히, 같은 파라미터 규모라도 Phi‑Mini 계열은 전반적으로 낮은 편향 점수를 보였지만, 위치 편향이 심해 특정 옵션을 과도하게 선택하는 경향이 뚜렷했다.

VaNeu가 제시하는 핵심 통찰은 ‘편향 점수가 낮다’는 현상이 ‘모델이 공정하게 판단한다’는 증거가 아니라, ‘모델이 판단을 포기하거나 표면적인 히스토리(예: 가장 빈번한 토큰)만을 이용한다’는 가능성을 경고한다는 것이다. 따라서 실무에서 SLM을 배포하기 전에는 단일 편향 지표가 아닌, 본 논문이 제안한 네 단계 전체를 검증해야 한다.