개념 성분 분석: 대형 언어 모델에서 개념 추출을 위한 원칙 기반 접근법

초록

본 논문은 대형 언어 모델(LLM)의 내부 표현을 인간이 이해할 수 있는 개념과 연결짓는 이론적 틀을 제시한다. 텍스트 생성 과정을 잠재 변수 모델로 모델링하고, LLM의 표현이 각 개념의 로그 사후확률의 선형 혼합으로 근사될 수 있음을 증명한다. 이를 기반으로 ‘Concept Component Analysis(ConCA)’라는 비지도 선형 언믹싱 방법을 제안하고, 희소성을 정규화로 도입한 ‘Sparse ConCA’ 변형 12종을 구현해 SAEs 대비 해석 가능성과 성능에서 우위를 보인다.

상세 분석

논문은 먼저 텍스트 데이터를 인간이 해석 가능한 개념들의 이산 잠재 변수 z 들에 의해 생성되는 생성 모델을 정의한다. 이때 관측 변수 x (컨텍스트)와 y (다음 토큰)는 z 에 의해 조건부 확률 p(x|z) 와 p(y|z) 로 생성된다. 다음‑토큰 예측을 위한 소프트맥스 형태의 LLM 학습 목표를 도입하고, 이와 위의 생성 모델을 결합해 LLM의 내부 표현 f(x) 가 어떻게 z 와 연결되는지를 분석한다. 핵심 정리는 정리 2.2이며, 세 가지 가정(다양성, 정보 충분성, 정규성) 하에 f(x) ≈ A·