LLM 안에 숨은 인격 서브네트워크

초록

본 논문은 대형 언어 모델(LLM) 내부에 이미 다양한 인격(페르소나)을 구현하는 희소 서브네트워크가 존재한다는 가설을 검증한다. 작은 캘리브레이션 데이터로 활성화 패턴을 추출하고, 중요도 기반 마스킹·대조 프루닝을 적용해 인격별 가중치 마스크를 생성한다. 훈련 없이도 얻어진 서브네트워크는 기존 프롬프트·RAG·파인튜닝 방식보다 인격 일관성과 효율성에서 우수함을 보인다.

상세 분석

이 연구는 “인격은 외부 프롬프트나 파인튜닝을 통해 부여되는 것이 아니라, 사전 학습된 모델 파라미터 안에 이미 내재된 회로 형태로 존재한다”는 핵심 가정을 제시한다. 이를 검증하기 위해 저자들은 (1) 각 인격별 소규모 캘리브레이션 데이터셋을 준비하고, (2) 해당 데이터에 대한 레이어별 활성화 평균값 A⁽ˡ⁾ₚ