LLM이 만든 정신건강 공격 서사의 은밀한 편향 탐구

초록

본 논문은 대규모 언어 모델(LLM)이 정신건강 집단을 대상으로 무의식적으로 생성하는 공격 서사를 네트워크 분석을 통해 규명한다. ‘독성 토끼굴’ 프레임워크로 만든 190 k개의 생성 체인에서 정신건강 엔티티가 중심성·클러스터링에서 비정상적으로 높게 나타났으며, 스티그마 구성 요소가 초기 타깃보다 강화되는 양상을 보였다. 결과는 LLM 안전 평가에 정신건강 그룹에 대한 구조적 편향을 포함시켜야 함을 시사한다.

상세 분석

이 연구는 크게 세 가지 혁신적 기여를 제시한다. 첫째, 기존 편향 평가가 주로 정적 프롬프트와 단일 문장 수준에 머물렀던 점을 넘어, ‘독성 토끼굴(Toxicity Rabbit Hole, TRH)’이라는 반복적 독성 강화 프로토콜을 적용해 LLM이 스스로 생성한 공격 서사 체인을 분석한다. 두 번째로, 각 체인에서 등장하는 피해자 엔티티를 노드, 인접 세대 간 전이 관계를 방향성 있는 가중치 엣지로 매핑한 ‘Rabbit Hole Network’를 구축하였다. 이 네트워크는 24 184개의 노드와 663 433개의 엣지를 포함하며, 정신건강 엔티티(MHSet, 195개)와 비정신건강 엔티티(Non‑MHSet, 23 989개) 간 전이 빈도 차이를 정량화한다. 세 번째는 정신건강 스티그마 이론을 차용해, 라벨링·고정관념·위협·비인간화 등 네 가지 스티그마 구성 요소가 체인 진행 과정에서 어떻게 증폭되는지를 언어학적 측정으로 평가한다.

실험 결과, MHSet 엔티티는 평균 근접 중심성(closeness centrality)이 전체 평균보다 현저히 높았으며(p = 4.06e‑10), Gini 계수 0.7이라는 높은 군집 불균형을 보였다. 이는 정신건강 그룹이 네트워크 내에서 ‘핵심’ 역할을 수행하고, 여러 독성 전이 경로에서 반복적으로 재등장한다는 의미다. 또한 페이지랭크와 차수(degree) 분석에서 MHSet 노드가 비정신건강 노드에 비해 상대적으로 높은 점수를 획득했으며, 커뮤니티 탐지 결과 정신건강 엔티티가 하나 혹은 소수의 밀집된 서브그래프에 집중돼 있음을 확인했다. 스티그마 분석에서는 초기 타깃(예: 종교·인종) 대비 정신건강 엔티티가 라벨링·위협·비인간화 비율이 각각 평균 1.8배, 2.3배, 2.0배 상승했으며, 특히 ‘위협’ 요소가 가장 크게 증폭되었다. 이는 LLM이 독성 확산 과정에서 정신건강 집단을 점점 더 적대적이고 위험한 대상으로 재구성한다는 위험성을 드러낸다.

방법론적 강점으로는 (1) 대규모 공개 TRH 데이터셋(459 M 토큰) 활용, (2) ICD‑10 기반 정신건강 용어 사전과 수작업 정제 과정을 거친 고품질 MHSet 구축, (3) LLaMA‑3.2B를 이용한 자동 엔티티 추출 및 독성 라벨링, (4) 네트워크 중심성·군집·스티그마 다중 지표 통합 평가가 있다. 한편 제한점으로는 (i) 단일 모델(Mistral 7B) 중심 분석으로 모델 다양성에 대한 일반화가 미흡하고, (ii) ‘독성’ 라벨링이 이진화돼 있어 미세한 혐오·편향 정도를 구분하기 어렵으며, (iii) 인간 평가 없이 자동화된 스티그마 구성 요소 매핑이 주관적 오류를 내포할 가능성이 있다. 향후 연구에서는 다중 모델 비교, 연속적인 독성 강도 스케일링, 그리고 인간 라벨러를 통한 스티그마 검증이 필요하다.

전반적으로 이 논문은 LLM이 의도치 않게 정신건강 집단을 ‘핵심 공격 대상’으로 전환시키는 구조적 메커니즘을 최초로 네트워크 과학적 시각으로 밝히며, 기존 안전 테스트에 포함되지 않은 ‘연쇄적 편향 전파’ 위험을 강조한다. 이는 정책 입안자·AI 개발자·윤리 감시기관이 모델 가드레일 설계 시 정신건강 스티그마 완화 전략을 명시적으로 포함시켜야 함을 강력히 시사한다.