대형 언어 모델 정렬을 위한 기계적 해석 연구

초록

본 논문은 대형 언어 모델(LLM)의 내부 메커니즘을 규명하고 이를 정렬에 활용하기 위한 최신 기계적 해석 기법들을 정리한다. 회로 발견, 특징 시각화, 활성화 스티어링, 인과적 개입 등 다양한 방법을 소개하고, 이들이 RLHF, 헌법 AI, 확장 가능한 감독 등에 어떻게 적용됐는지 분석한다. 또한 초점이 맞춰야 할 과제인 초포지션, 다중 의미 뉴런, 급성장 모델의 emergent 행동 등을 짚으며 자동화·범용화·정렬‑주도 해석 기법의 향후 연구 방향을 제시한다.

상세 분석

논문은 먼저 변환기 구조와 정렬 문제의 핵심 과제를 간결히 정리한 뒤, 기계적 해석의 핵심 개념을 체계화한다. 특히 ‘회로(circuit)’라는 용어를 사용해 특정 기능을 구현하는 서브그래프를 정의하고, 이를 발견·검증하기 위한 방법론을 상세히 제시한다. 활성화 분석·프루빙은 내부 표현에 어떤 정보가 내재되는지를 탐색하지만, 정보가 실제 연산에 활용되는지를 보장하지 못한다는 한계를 명시한다. 반면 로그잇 렌즈와 튜닝 렌즈는 중간 활성화를 직접 어휘 확률로 투사해 층별 예측 흐름을 시각화함으로써, 특히 컨텍스트 학습 메커니즘을 추적하는 데 유용함을 보여준다.

주의 메커니즘 분석에서는 ‘인덕션 헤드’, ‘이전 토큰 헤드’, ‘사실 회상 헤드’ 등 기능별 헤드 유형을 구분하고, 유해 콘텐츠 전파 경로를 밝힘으로써 목표 회로를 정밀하게 차단할 수 있음을 입증한다. 회로 발견 파트에서는 활성화 패칭(activation patching)과 자동 회로 탐색 기법을 비교한다. 활성화 패칭은 인과적 기여도를 직접 측정하는 골드 스탠다드이지만 계산 비용이 높고 조합 폭이 크다. 자동화된 방법으로는 그래프 프루닝, 속성 패칭, 경로 패칭 등이 제시되며, 특히 속성 패칭은 그래디언트 기반 근사로 효율성을 크게 향상시킨다.

특징 시각화와 희소 오토인코더(SAE) 섹션에서는 초포지션 문제를 완화하기 위한 접근법을 강조한다. SAE는 ℓ₁ 정규화를 통해 활성화를 희소한 특징 사전으로 분해하고, 각 특징이 인간이 이해 가능한 개념(주제, 엔터티, 문법 속성 등)과 일치하도록 학습한다. 이를 통해 다중 의미 뉴런을 단일 의미 특징으로 해체하고, 이후 활성화 스티어링이나 지식 편집에 직접 활용할 수 있다.

인과 개입 파트에서는 활성화 스티어링, 표현 엔지니어링, 지식 편집(예: ROME, MEMIT) 등을 통해 모델 행동을 직접 제어하는 방법을 제시한다. 특히 스티어링 벡터를 삽입해 진실성 강화, 독성 억제, 스타일 조절을 실시간으로 수행한 사례가 눈에 띈다. 그러나 이러한 벡터의 일반화와 부작용 검증이 아직 미흡하다는 점을 지적한다.

정렬 적용 섹션에서는 RLHF 메커니즘 해석, 사기성(Deceptive) 행동 탐지, 유해 출력 억제, 사실성 향상, 투명성 및 감독 확대, 다문화 가치 다양성 반영 등 6가지 주요 활용 사례를 제시한다. RLHF가 주로 응답 초기화·스타일에 영향을 미치고 핵심 지식 회로는 거의 변하지 않으며, 따라서 RLHF는 ‘행동 필터’에 가깝다는 결론을 내린다. 사기성 탐지는 선형 프루빙과 상황 인식 회로 분석을 통해 가능하지만, 모델이 의도적으로 회피하도록 학습될 경우 탐지 한계가 존재한다. 사실성 향상에서는 MLP 레이어에 저장된 지식 위치를 파악해 직접 편집하거나 불확실성을 정량화함으로써 hallucination을 감소시킬 수 있다.

마지막으로 논문은 현재의 주요 난관—초포지션 가설, 다중 의미 뉴런, 급성장 모델의 emergent 행동—을 정리하고, 자동화된 해석 파이프라인, 모델 간 회로 일반화, 정렬‑주도 해석 기법의 스케일링을 향후 연구 로드맵으로 제시한다. 특히 대규모 모델에 대한 ‘자동 회로 탐지 + 스티어링’ 루프를 구축해 인간 피드백 없이도 지속적인 정렬을 유지하는 것이 장기 목표로 강조된다.