잠재 신호에서 반사 행동까지 메타인지 활성화 단계 분석

초록

본 논문은 R1‑스타일 대형 언어모델이 스스로 반사 행동을 보이는 메커니즘을 층별로 추적한다. 로그잇 렌즈를 이용해 중간층 표현을 토큰 수준으로 디코딩한 결과, (1) 생각 예산을 인코딩하는 잠재‑제어층, (2) 전환점·요약 단서가 등장하는 의미‑피벗층, (3) 반사 토큰이 샘플링될 확률이 급증하는 행동‑오버트층이라는 세 단계가 순차적으로 활성화됨을 발견한다. 프롬프트 수준의 의미 조작과 활성화 스티어링 실험을 통해 각 단계가 인과적으로 연결되어 있음을 입증하고, 인간의 메타인지 과정과 유사한 진행 흐름을 제시한다.

상세 분석

이 연구는 두 개의 R1‑스타일 LLM(DeepSeek‑R1‑7B와 Qwen3‑Think‑4B)을 대상으로, 로그잇 렌즈(logit‑lens)를 활용해 중간층 잔차 스트림을 직접 디코딩함으로써 토큰‑레벨 의미를 추출한다. 먼저 프롬프트에 ‘자세히 생각하기’와 ‘간결히 생각하기’라는 상반된 지시를 붙인 쌍을 만들고, 각 층에서 두 프롬프트의 활성화 차이를 계산한다. 차이 벡터를 로그잇 렌즈에 투입하면, 중간‑후반 층(DeepSeek‑R1에서는 8‑15층, Qwen3‑Think에서는 11‑22층)에서 ‘자세히’, ‘깊게’와 같은 깊은 사고 단어와 ‘간결히’, ‘빠르게’와 같은 얕은 사고 단어가 선형 방향으로 명확히 구분된다. 이는 생각 예산(think‑budget)이라는 메타인지 변수가 모델 내부에 연속적인 선형 차원으로 존재한다는 강력한 증거다.

다음으로, 반사 마커 토큰 “Wait”(또는 “Hmm”)이 처음 등장하기 직전의 토큰 위치를 기준으로 각 층의 활성화를 디코딩한다. 층이 깊어질수록 전환점 토큰(‘하지만’, ‘however’)과 요약 토큰(‘그래서’, ‘therefore’)이 급격히 확률 질량을 차지하는 ‘의미‑피벗’ 구간이 나타난다(DeepSeek‑R1에서는 약 18층, Qwen3‑Think에서는 23층). 이 구간 이후, 최종 몇 층에서 반사 토큰의 확률이 급상승하여 최종 출력에 지배적으로 나타난다. 즉, 모델은 먼저 담론 구조를 정리하고, 그 다음에 메타인지적 반성 신호를 외부에 표출한다는 단계적 흐름을 보인다.

인과 관계를 검증하기 위해 두 종류의 개입을 수행한다. 첫째, 프롬프트에 ‘자세히 생각하기’ 혹은 ‘간결히 생각하기’ 문구를 삽입해 생각 예산 방향을 강제로 이동시킨다. 둘째, 잠재‑제어층에 직접 선형 스티어링(예: d_pos 방향으로 작은 벡터 추가)을 적용한다. 두 경우 모두, 초기 층에서 생각 예산이 변하면 의미‑피벗 층에서 전환점·요약 토큰 비율이 바뀌고, 최종 행동‑오버트 층에서 반사 토큰의 샘플링 확률이 일관되게 조정된다. 이는 프롬프트‑레벨 의미 → 잠재‑제어층 → 의미‑피벗층 → 행동‑오버트층 순으로 인과적 전파가 일어남을 실증한다.

또한, 다국어 토큰(중국어)도 동일한 층에서 의미가 해석되는 점을 발견해, 모델이 내부 사고를 언어에 구애받지 않고 ‘친숙한’ 언어 형태로 표출한다는 흥미로운 현상을 제시한다. 전체 실험은 GSM8K 문제 200개와 다양한 도메인 데이터를 사용했으며, 두 모델 모두 동일한 단계 구조를 보였으므로 모델 아키텍처·규모에 대한 일반화 가능성을 시사한다.

이러한 결과는 기존의 ‘외부 프롬프트·검색 기반’ 메타인지 기법과 달리, 모델 자체 내부에 내재된 메타인지 회로가 존재한다는 강력한 근거를 제공한다. 연구는 (1) 메타인지 메커니즘을 층별로 구분한 ‘잠재‑제어’, ‘의미‑피벗’, ‘행동‑오버트’ 삼단계 프레임워크, (2) 프롬프트·활성화 개입을 통한 인과 검증, (3) 다언어·다모델 일반화 가능성을 제시한다는 점에서 의미가 크다.