DLM‑Scope: 확산 언어 모델 해석을 위한 희소 오토인코더

초록

본 논문은 확산 언어 모델(DLM)에 희소 오토인코더(SAE)를 적용해 메커니즘 해석 프레임워크인 DLM‑Scope를 제안한다. Top‑K SAEs를 훈련해 모델 내부 표현을 희소하고 인간이 이해 가능한 특징으로 분해하고, 이러한 특징을 이용해 조기 레이어에서는 손실 감소, 확산 단계별 스티어링, 디코딩 순서 분석, 사후 학습 단계에서도 특징 안정성을 확인한다.

상세 분석

DLM‑Scope는 기존 LLM‑SAE 연구를 확산 언어 모델에 맞게 두 가지 핵심 문제를 해결한다. 첫째, 확산 과정에서 마스크된 토큰과 마스크되지 않은 토큰을 구분해 훈련 샘플을 선택한다. 저자는 MASK‑SAE와 UNMASK‑SAE 두 가지 전략을 도입했으며, 각각 마스크된 위치와 마스크되지 않은 위치의 잔차 스트림을 입력으로 사용한다. 이를 통해 DLM 특유의 비선형 마스킹 스케줄에 대응하면서도 높은 재구성 정확도와 ℓ1 희소성을 동시에 달성한다.

둘째, 스티어링 메커니즘을 확산 단계에 반복 적용한다. LLM에서는 한 번의 개입으로 충분하지만, DLM은 여러 denoising step을 거치므로 각 단계마다 전체 토큰(All‑Token) 혹은 현재 마스크된 토큰(Update‑Token)만을 대상으로 선택적으로 특징을 주입한다. 실험에서는 특히 초기 레이어(L0=50~80)에서 SAE 삽입이 마스크 토큰 교차 엔트로피 손실을 감소시키는 현상이 관찰되었는데, 이는 SAE가 노이즈를 정제하고 더 나은 초기 예측을 제공하기 때문으로 해석된다. LLM에서는 삽입 시 손실이 증가하는 것이 일반적이므로, DLM‑Scope가 DLM 구조에 특화된 이점을 제공함을 시사한다.

자동 해석 파이프라인은 5M 토큰 스트림에서 각 특징을 활성화하는 토큰을 추출하고, 별도 LLM에게 설명을 생성하도록 요청한다. 생성된 설명에 대해 별도 판별 LLM이 해당 설명과 일치하는 토큰을 맞추는 정확도를 측정해 해석 가능성을 정량화한다. 주요 특징들은 수학 기호, 특정 언어(예: 스페인어), 영화 관련 어휘 등 의미적으로 일관된 패턴을 보여, DLM 내부에 의미론적 ‘개념’이 희소하게 존재함을 입증한다.

또한, 디코딩 순서 분석에서는 각 denoising step에서 Top‑K 특징의 활성도 변화를 추적해 ‘remasking order’가 의미적 변화를 유도한다는 메트릭 S_pre와 D_post을 제안한다. 결과는 초기 레이어에서는 순서에 따라 특정 개념이 급격히 강화되거나 억제되는 현상을 보여, DLM의 비동시적 디코딩 메커니즘을 이해하는 새로운 창을 연다.

마지막으로, 베이스 모델에서 학습된 SAE를 instruction‑tuned DLM에 그대로 적용했을 때도 높은 재구성 fidelity와 해석 점수를 유지한다는 ‘전이 가능성’도 확인했다. 이는 SAE가 모델 파라미터 변화에 강인하며, 사후 학습 단계에서도 특징이 크게 변하지 않음을 의미한다.

전반적으로 DLM‑Scope는 (1) DLM 특성에 맞춘 훈련/스티어링 설계, (2) 희소성‑재구성‑기능성의 균형, (3) 자동 해석 및 정량화 파이프라인, (4) 디코딩 순서와 사후 학습에 대한 새로운 분석 도구를 제공한다. 이러한 기여는 확산 기반 텍스트 생성 모델의 내부 메커니즘을 처음으로 체계적으로 들여다볼 수 있게 하며, 향후 DLM 기반 응용(예: 텍스트‑투‑이미지, 코드 생성)에서 개념 편집 및 안전성 강화에 직접 활용될 가능성을 열어준다.