언어 뉴런 스티어링으로 목표 언어를 기본으로 만드는 Neural FOXP2

초록

Neural FOXP2는 LLM 내부의 희소하고 저랭크인 “언어 뉴런”을 자동으로 찾아내어, 힌디어·스페인어와 같은 목표 언어가 영어보다 우선적으로 생성되도록 활성화 시프트를 적용한다. SAE 기반 특성 추출, 층별 SVD를 통한 저차원 스티어링 방향 탐색, 그리고 선택된 뉴런에 대한 부호화된 미세 조정을 3단계로 구성한다. LLaMA‑3 8B 모델에 적용한 결과, 번역·QA·요약 등 다중 과제에서 목표 언어 성능이 크게 향상되면서 전체 능력은 유지된다.

상세 분석

본 논문은 다국어 대형 언어 모델이 사전학습 단계에서 영어에 편향된 “언어 기본값”을 갖는 현상을, 모델 내부의 희소하고 저랭크인 제어 회로—즉, 언어 뉴런—에 의해 설명한다. 핵심 가설(HLN)은 특정 언어 정체성을 담당하는 소수의 특성이 존재하며, 이를 조작하면 전체 파라미터를 재학습하지 않고도 언어 우선순위를 전환할 수 있다는 것이다.

1️⃣ Localize 단계에서는 각 층마다 Sparse AutoEncoder(SAE)를 학습해 잔차 스트림 활성화를 희소 특성 벡터로 분해한다. 특성별로 영어와 목표 언어(힌디어·스페인어) 토큰 집합에 대한 로그잇 질량 상승을 측정해 선택성을 정량화한다. 여기서 “Selectivity”와 “LiftSlope”라는 두 가지 지표를 결합해, 단순 상관을 넘어 실제 로그잇 질량을 끌어올리는 인과적 효과를 가진 특성만을 언어 뉴런 후보로 추린다.

2️⃣ Steering Directions 단계는 언어 전환을 위한 저차원 변환 공간을 찾는다. 각 층에 대해 영어와 목표 언어의 활성화 차이 행렬을 구성하고, 층별 SVD를 수행한다. 가장 큰 특잇값에 대응하는 singular vector가 언어 전환을 주도하는 방향이며, eigengap와 effective‑rank 분석을 통해 안정적인 개입 윈도우(주로 저‑중간 층)를 선정한다. 이는 기존 연구에서 제시된 “언어‑스티어링 유닛”이 실제로 저랭크 구조에 내재한다는 실증적 근거를 제공한다.

3️⃣ Steer 단계에서는 선택된 언어 뉴런에 대해 양의 스티어링(목표 언어 방향)과 음의 스티어링(영어 방향)을 동시에 적용한다. 구체적으로, 저‑중간 층의 SAE 특성 좌표에 작은 스칼라 ε를 더하고, 반대 방향으로는 null‑space에 해당하는 성분을 감소시켜 전체 로그잇 질량의 균형을 맞춘다. 이때 “signed, sparse activation shift”는 모델의 다른 기능에 미치는 영향을 최소화하도록 설계되었으며, 실험적으로도 과도한 파라미터 변동 없이 목표 언어 우선성을 달성한다.

실험에서는 LLaMA‑3 8B을 기준 모델로 사용하고, 힌디어·스페인어에 대해 번역, 질문응답, 자연어 추론, 요약 네 가지 베틀리스트를 평가한다. 결과는 ∆M(목표‑영어) 지표가 크게 상승하고, BLEU·EM·ROUGE 등 기존 성능 지표도 유지 혹은 소폭 개선됨을 보여준다. 특히, “weak prompting” 상황에서 목표 언어가 자동으로 선택되는 현상이 눈에 띈다.

강점은 (1) 언어 제어를 위한 명확한 인과적 정의와 측정 지표, (2) SAE를 통한 특성 기반 로컬라이제이션으로 초과적 상관을 회피, (3) 저랭크 스티어링 공간을 수학적으로 정량화해 안정적인 개입 윈도우를 제공한다는 점이다.

한계로는 (a) SAE 학습 비용이 모델 규모에 비례해 증가한다는 점, (b) 현재는 힌디어·스페인어 두 언어에만 검증했으며, 언어 간 상호작용(예: 다중 언어 혼합 프롬프트)에서의 거동은 미확인, (c) 스티어링 강도 ε 선택이 경험적이며 자동화된 최적화 절차가 부족하다는 점을 들 수 있다. 또한, 언어 뉴런이 실제 “언어 전용 회로”인지, 혹은 다른 의미·스타일 정보와 복합적으로 얽혀 있는지는 추가 해석 연구가 필요하다.

전반적으로, 본 논문은 “언어 기본값”을 모델 내부의 희소 제어 회로로 규정하고, 이를 정량·인과적으로 조작하는 파이프라인을 최초로 제시한다는 점에서 다국어 LLM 적응 연구에 중요한 전환점을 제공한다.