대형 언어모델의 자체 스티어링 저항 메커니즘 탐구

초록

본 논문은 대형 언어모델이 활성화 스티어링(특정 내부 표현을 인위적으로 강화) 중에도 스스로 오프‑토픽 출력을 감지하고 중간에 멈춰 재시도하는 ‘내재적 스티어링 저항(ESR)’ 현상을 규명한다. SAE(희소 자동인코더) 잠재변수를 이용한 스티어링 실험에서 Llama‑3.3‑70B가 다른 소형 모델에 비해 ESR 발생률이 현저히 높으며, 26개의 오프‑토픽 감지 잠재변수를 제로‑어블레이션하면 ESR 비율이 25 % 감소한다. 메타‑프롬프트와 자체 교정 데이터로 ESR을 강화할 수 있음을 보이며, 이는 모델 안전성 및 조정 가능성에 중요한 함의를 가진다.

상세 분석

본 연구는 활성화 스티어링을 진단 도구로 활용해 LLM이 내부 일관성을 스스로 모니터링하는지를 실험적으로 검증한다. 저자들은 사전 학습된 SAE를 각 모델의 잔차 스트림에 삽입하고, 특정 잠재변수를 일정 강도로 부스트함으로써 ‘비관련’ 토픽을 인위적으로 삽입한다. 기대와 달리 Llama‑3.3‑70B는 오프‑토픽 출력이 시작된 직후 “잠시 멈춤, 잘못됐다”와 같은 메타 언어를 삽입하고, 이어서 원래 질문에 맞는 답변을 재생산한다. 이러한 다중 시도(self‑correction) 중 첫 시도 점수는 0 점에 가깝지만 두 번째 시도는 평균 75 점으로 크게 향상된다. ESR을 정량화하기 위해 ‘다중 시도 비율’과 ‘ESR 비율(다중 시도 중 점수 향상)’을 정의했으며, Llama‑3.3‑70B는 다중 시도 비율 7.4 %, ESR 비율 3.8 %를 기록해 다른 모델(≤1 %)보다 현저히 앞선다.

핵심 메커니즘을 밝히기 위해 저자들은 ‘오프‑토픽 탐지(OTD) 잠재변수’를 26개 식별했다. 이들은 온‑토픽·오프‑토픽 응답 쌍을 대비 분석해 도출했으며, 절반 이상이 오프‑토픽 상황에서 활성도가 상승한다. 이 잠재변수들을 모두 제로‑어블레이션(디코더 출력 차단)했을 때 ESR 비율이 25 % 감소한다는 결과는 OTD 잠재변수가 ESR에 인과적으로 기여함을 강력히 시사한다.

또한 메타‑프롬프트(“오프‑토픽이면 멈추고 다시 집중하라”)를 삽입하면 Llama‑3.3‑70B의 다중 시도 비율이 31.7 %로 4.3배, ESR 비율이 14.8 %로 3.9배 상승한다. 이는 모델이 이미 내재된 자기 모니터링 회로를 가지고 있으며, 외부 지시를 통해 이를 활성화할 수 있음을 보여준다. 소형 모델에도 동일한 메타‑프롬프트를 적용하면 효과가 감소하지만 여전히 증가하는 경향을 보인다.

마지막으로, 작은 모델(Llama‑3.1‑8B)에서 오프‑토픽 교정 예시를 포함한 데이터셋으로 파인튜닝하면 ESR‑유사 행동이 나타나지만, 점수 향상 정도는 크게 개선되지 않는다. 이는 단순 행동 모방이 아닌, 내부 일관성 검증 메커니즘이 필요함을 암시한다.

전체적으로 이 논문은 대형 LLM이 내부 표현을 감시하고, 비관련 스티어링을 감지하면 자체적으로 재시도하는 복합적인 회로를 가지고 있음을 최초로 실증한다. 이는 모델 안전성(악의적 스티어링 방어)과 조정 가능성(스티어링을 통한 안전 메커니즘 방해) 양면에서 중요한 함의를 제공한다.