다국어 정신건강 탐지를 위한 대형 언어 모델 평가

초록

본 연구는 영문 외 6개 언어(아랍어, 벵골어, 스페인어, 포르투갈어, 러시아어, 태국어)로 구성된 8개의 정신건강 데이터셋에 대해 상용 및 오픈소스 LLM을 제로‑샷, few‑shot, 체인‑오브‑쓰(thought) 프롬프트와 파인튜닝을 적용해 성능을 비교한다. 또한 원본 데이터와 기계 번역(MT) 데이터 간 번역 품질 차이가 모델 성능에 미치는 영향을 언어 유형별로 분석한다. 결과는 GPT‑4·Claude 3.5 등 상용 모델과 파인튜닝된 오픈소스 모델이 기존 베이스라인을 능가하지만, MT 데이터에서는 전반적으로 F1 점수가 낮아 언어·구조적 차이가 성능 저하를 초래함을 보여준다.

상세 분석

이 논문은 현재 NLP 분야에서 가장 활발히 논의되는 대형 언어 모델(LLM)의 정신건강 분야 적용 가능성을 다국어 환경에서 체계적으로 검증한다는 점에서 의의가 크다. 먼저 8개의 데이터셋을 선정했는데, 이는 러시아어·태국어·벵골어·아랍어·포르투갈어·스페인어 등 서로 다른 어족·형태론적 특성을 가진 언어를 포함한다. 데이터 규모는 1천~3만 건으로 다양하며, 라벨링 방식(전문가 라벨 vs. 크라우드 라벨)도 차이를 보인다. 이러한 이질성을 감안해 연구자는 세 가지 실험 설정을 도입했다.

1️⃣ 프롬프트 전략 – 제로‑샷, 5‑shot, 그리고 감정‑강화 체인‑오브‑쓰(CoT Emo) 프롬프트를 적용했다. CoT Emo는 감정 정보를 사전 삽입해 모델이 정서적 단서를 더 잘 포착하도록 설계되었으며, 특히 러시아·스페인어 데이터에서 F1 점수를 0.07~0.10 정도 끌어올렸다.

2️⃣ 모델 구성 – 상용 모델(GPT‑4 Omni, Claude 3.5 Sonnet, Gemini 2 Flash)과 오픈소스 모델(LLaMA 3.2, Gemma 2, Mistral AI Ministral, R1)을 비교했다. 파라미터 규모는 8 B~27 B까지 다양했으며, 오픈소스 모델은 파인튜닝이 가능하도록 설계되었다. 실험 결과, 상용 모델이 전반적으로 높은 F1를 기록했지만, 파인튜닝된 오픈소스 모델도 특정 언어(예: 벵골어, 포르투갈어)에서는 베이스라인을 크게 앞섰다.

3️⃣ 기계 번역(MT) 영향 – 원본 데이터를 영어로 번역한 뒤 다시 원언어로 역번역하는 nllb‑200‑3.3B 모델을 사용해 MT 데이터셋을 구축했다. 번역 품질은 BLEU·BERTScore·LaBSE 등으로 평가했으며, 구조가 분석형(스페인어, 아랍어)인 경우 의미 보존이 낮아 F1 감소폭이 0.120.18에 달했다. 반면 교착형(포르투갈어, 러시아어, 벵골어)에서는 의미 손실이 적어 성능 저하가 0.030.07에 머물렀다. 이는 번역 품질이 모델 성능에 직접적인 영향을 미친다는 실증적 증거를 제공한다.

핵심 인사이트

• 프롬프트 설계가 핵심: CoT Emo가 대부분의 언어에서 가장 큰 성능 향상을 보였으며, 특히 감정 표현이 중요한 정신건강 텍스트에 유리함을 확인했다.
• 언어별 모델 차별화 필요: 동일한 LLM이라도 언어 특성(형태소 복잡도, 어순 차이)에 따라 성능 격차가 크다. 예를 들어, 아랍어는 구조적 차이와 번역 오류가 겹쳐 F1가 0.2 이상 감소했다.
• 오픈소스 파인튜닝의 잠재력: 비용과 투명성 측면에서 오픈소스 모델을 파인튜닝하면 상용 모델과 경쟁 가능한 결과를 얻을 수 있다. 특히 데이터가 충분히 큰 러시아·태국어 데이터셋에서 파인튜닝된 LLaMA 3.2가 0.79 이상의 F1를 기록했다.
• MT 데이터 활용 한계: 저품질 번역이 모델의 의미 파악을 방해하므로, MT 데이터만으로 모델을 학습하거나 평가하는 것은 위험하다. 대신 번역 품질을 사전 검증하고, 필요 시 언어별 후처리(형태소 복원, 어순 재조정)를 적용해야 한다.

이 논문은 다국어 정신건강 NLP 연구에 있어 “모델·프롬프트·번역”이라는 세 축을 동시에 고려해야 함을 강조한다. 향후 연구는 저자원 언어에 대한 사전 학습 데이터 확대와, 번역 오류를 보정하는 메타‑학습 기법을 도입해 성능 격차를 줄이는 방향으로 진행될 필요가 있다.