언어모델의 구성요소 손상으로 재현하는 임상 맞춤형 실어증 현상

초록

본 연구는 대규모 언어모델(LLM)의 내부 구성요소를 선택적으로 교란함으로써 브로카와 베르니케 실어증의 언어 생산 결함을 정량적으로 재현한다. 모듈형 Mixture‑of‑Experts(MoE)와 전통적 Dense Transformer 두 모델에 동일한 “유닛” 개념을 적용해, BLiMP 과제와 AphasiaBank 파인튜닝을 통해 현상‑유닛 매핑을 만든 뒤, 상위 p% 유닛을 단계적으로 손상시켜 Western Aphasia Battery(AQ) 점수 변화를 측정한다. 실험 결과, 실어증 유형에 특화된 유닛을 표적으로 손상시켰을 때 무작위 손상보다 일관된 임상적 저하가 나타났으며, MoE 구조가 보다 국소적이고 해석 가능한 현상‑유닛 대응을 제공한다는 점을 확인하였다.

상세 분석

이 논문은 언어 인지 과정을 모델링하기 위한 새로운 패러다임을 제시한다. 먼저, 인간 뇌의 기능적 모듈성 가설을 차용해 LLM 내부를 “컴포넌트”(MoE에서는 전문가, Dense Transformer에서는 FFN의 은닉 차원)로 정의하고, 각 컴포넌트가 담당하는 언어 현상을 BLiMP 최소쌍 과제에서의 정확도 감소량(Δ)으로 정량화한다. 이를 통해 구문·의미·형태소 수준의 현상‑유닛 매핑을 구축한다. 두 번째 단계에서는 AphasiaBank 데이터셋을 이용해 브로카형·베르니케형 실어증에 특화된 파인튜닝 모델을 학습하고, 파라미터별 그래디언트와 가중치의 곱(Ic) 를 누적해 유닛별 기여도 점수(Scorec)를 산출한다. 이 점수는 해당 유닛이 특정 실어증 표현을 생성하는 데 얼마나 중요한지를 나타낸다.

유닛 선택 임계값(p) 은 0.5%~10% 범위에서 스펙트럼을 탐색(p‑sweep)하고, 각 p 값에 대한 BLiMP 기반 현상 프로파일의 스피어만 상관을 계산해 안정성을 검증한다. 논문은 2%를 시각화와 손상 실험의 기본 예산으로 채택했으며, 이는 현상‑유닛 매핑이 임계값에 크게 의존하지 않음을 보여준다.

손상 모델은 두 가지 방식으로 구현된다. 첫째, 출력 제로화(zero‑ablation)로 선택된 유닛의 출력을 0으로 고정해 기능을 차단한다. 둘째, Xavier 초기화로 가중치를 무작위 재설정해 학습된 정보를 완전히 소거한다. 두 방식 모두 모델 구조는 유지하면서 특정 기능만을 억제한다는 점에서 실제 뇌 손상과 유사한 “영구적 국소 손상”을 모사한다.

실험 결과는 세 가지 주요 인사이트를 제공한다. (1) 브로카형과 베르니케형에 특화된 유닛을 순차적으로 손상시킬 경우, Western Aphasia Battery의 하위 검사(자발적 말, 이해, 반복, 명명) 점수가 점진적으로 감소하고, 전체 Aphasia Quotient(AQ) 역시 일관된 하락을 보인다. (2) 동일한 수의 무작위 유닛을 손상시킨 경우, 점수 감소가 불규칙하고 평균적으로 낮아, 현상‑유닛 매핑의 임상적 타당성을 입증한다. (3) MoE 모델은 전문가 단위가 비교적 명확히 구분된 현상에 매핑되는 경향이 강해, 손상 효과가 더 국소적이며 해석이 용이하다. 반면 Dense Transformer는 은닉 차원 간의 중복성이 높아 손상 효과가 분산되는 모습을 보인다.

이러한 결과는 LLM을 실어증 시뮬레이션 도구로 활용할 가능성을 열어준다. 특히, 모듈형 아키텍처가 뇌의 기능적 구획과 유사한 특성을 보이므로, 특정 언어 기능(예: 구문 구조, 의미 통합)을 목표로 한 재활 전략을 가상 환경에서 사전 검증할 수 있다. 또한, 유닛‑수준의 정량적 손상 메커니즘은 기존의 “레이어 차단”이나 “프롬프트 변형” 방식보다 미세 조정된 인과관계를 제공한다는 점에서 학술적·임상적 가치가 크다.