AI가 글을 바꾸면 목소리는 사라진다

본 논문은 대형 언어 모델(LLM)이 인도·싱가포르·나이지리아 등 세계 영어 변종에서 사용되는 문화적 언어표지(표현, 어휘, 구문)를 얼마나 제거하는지 정량화한다. 1,490개의 문화표지 포함 텍스트를 5개 모델과 3가지 프롬프트(기본, 중립, 보존)로 처리해 22,350개의 출력물을 생성하고, 새로 만든 정체성 소멸률(IER)과 의미 보존 점수(SPS)를 측정했다. 전체 평균 IER는 10.26%였으며, 모델 간 차이는 3.5%~20.5%로 …

저자: Satyam Kumar Navneet, Joydeep Ch, ra

AI가 글을 바꾸면 목소리는 사라진다
본 연구는 대형 언어 모델(LLM)이 직장 내 커뮤니케이션을 ‘전문화’하는 과정에서 세계 영어 변종(인도·싱가포르·나이지리아 영어)의 고유 문화표지를 체계적으로 삭제하는 현상을 ‘문화 유령(Cultural Ghosting)’이라고 정의하고, 이를 정량화한다. 연구자는 1,490개의 문화표지 포함 텍스트를 수집했으며, 이 텍스트는 인도 영어(601개), 싱가포르 영어(261개), 나이지리아 영어(89개), 그리고 비교용 미국 영어(539개)로 구성된다. 각 텍스트는 108개의 사전 정의된 문화표지(어휘·실용·구문)로 라벨링했으며, 자동 패턴 매칭과 인간 검증을 통해 0.89의 코헨 카파를 달성해 라벨링 신뢰성을 확보했다. 다섯 개의 오픈소스 인스트럭션‑튜닝 모델(Mistral‑7B‑Instruct, Apertus‑8B‑Instruct, DeepHat‑7B, MiMo‑7B, Qwen3‑8B)을 선택했으며, 각 모델에 대해 세 가지 프롬프트 조건(기본 ‘전문화’, 중립 ‘명료성·문법 교정’, 보존 ‘문화적 목소리 유지’)으로 텍스트를 재작성했다. 총 22,350개의 출력이 생성되었다. 두 가지 핵심 지표를 도입했다. 첫째, 정체성 소멸률(IER)은 원본 텍스트에 존재하던 문화표지 수와 출력에서 남아 있는 표지 수의 차이를 비율로 나타낸다. 둘째, 의미 보존 점수(SPS)는 문장 임베딩 간 코사인 유사도로 측정했으며, 인간 평가와의 상관계수 r=0.82를 보였다. 전체 평균 IER는 10.26%였으며, 모델 간 차이는 3.5%에서 20.5%까지 5.9배 차이를 보였다. Mistral‑7B는 IER 20.5%로 가장 높은 소멸률을 보였지만 SPS 0.857로 의미 보존이 가장 뛰어났다. 반대로 Qwen3‑8B는 IER 3.5%로 가장 낮은 소멸률을 보였지만 SPS 0.589로 의미 보존이 상대적으로 낮았다. 이는 모델의 정렬(RLHF) 전략과 훈련 데이터 구성, 특히 다문화 영어 데이터 포함 여부가 문화표지 유지에 큰 영향을 미친다는 것을 시사한다. 표지 유형별 분석에서는 실용표지가 71.5%로 가장 높은 소멸률을 보였으며, 이는 실용표지가 사회적 위계·예절을 전달하는 기능을 갖기 때문이다. 구문표지는 56.3%, 어휘표지는 37.1%로 차이를 보였다. 이러한 결과는 의미는 유지하면서 표현 방식만 바뀌는 LLM의 최적화 목표가 비명시적·사회적 기능을 수행하는 실용표지를 과도하게 표준화한다는 점을 보여준다. 프롬프트 실험 결과, ‘보존’ 프롬프트를 사용하면 IER가 0.1156에서 0.0821로 29% 감소했으며, SPS는 0.742에서 0.755로 약간 상승했다. 회귀 분석에서 IER와 SPS 간 상관계수는 0.061에 불과해, 문화표지 삭제가 의미 손실에 거의 영향을 주지 않음을 확인했다. 따라서 ‘정체성‑명료성 트레이드오프’는 실제로 존재하지 않으며, 적절한 프롬프트 설계만으로 두 목표를 동시에 달성할 수 있다. 알고리즘적 완화 방안으로는 두 가지 시도를 제시했다. 첫째, 입력 텍스트에서 문화표지 위치를 사전에 태깅하고, 생성 단계에서 해당 스팬을 복사하도록 제약을 두는 ‘마커‑인식 제약 디코딩’ 방식이다. 200개의 샘플에 적용했을 때 IER를 47% 감소시키면서 SPS는 2% 이내로 유지했다. 둘째, k=5개의 후보를 생성하고, SPS와 IER를 가중합한 점수(SPS − 0.3 × IER)로 재순위하는 ‘대비 재랭킹’ 방법이다. 이 역시 IER를 31% 감소시켰다. 두 방법 모두 LLM이 문화표지를 보존하도록 유도하면서도 의미 전달 능력을 크게 손상시키지 않음을 보여준다. 연구는 다음과 같은 시사점을 제공한다. (1) 문화표지 소멸은 우연이 아니라 시스템적인 편향이며, 10% 이상의 평균 IER는 무시할 수 없는 수준이다. (2) 의미와 정체성은 독립적인 목표이며, 적절한 프롬프트만으로도 동시에 달성 가능하다. (3) 실용표지는 가장 취약하므로, 특히 직장 이메일 등 사회적 관계가 중요한 상황에서 주의가 필요하다. (4) 모델 규모보다 훈련 데이터와 정렬 전략이 문화표지 유지에 더 큰 영향을 미친다. (5) 프롬프트 설계와 제약 디코딩, 재랭킹 같은 간단한 알고리즘적 개입으로 실질적인 완화가 가능하다. 결론적으로, 이 논문은 LLM이 ‘전문성’이라는 명목 아래 문화적 다양성을 무시하고 표준 영어로 동화시키는 구조적 편향을 최초로 정량화했으며, 측정 도구와 완화 전략을 제시함으로써 향후 인간‑AI 협업 시스템에서 언어적 정체성을 보호하는 설계 방향을 제시한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기