대형 언어 모델의 자가 인식 능력 등장

초록

본 논문은 대형 언어 모델이 내부 활성화에 특정 개념을 주입했을 때 이를 인식하고 보고할 수 있는지를 실험한다. 모델은 주입된 개념을 감지하고, 이전 내부 표현을 기억하며, 인위적 프리픽스와 자체 생성 텍스트를 구별한다는 증거를 제시한다. 특히 Claude Opus 4·4.1이 가장 높은 수준의 내성적 인식을 보였으며, 모델이 지시나 보상에 따라 내부 표현을 의도적으로 조절할 수 있음을 확인한다. 다만 이러한 능력은 상황에 따라 크게 변동하고 아직 신뢰성이 낮다.

상세 분석

이 연구는 “내부 상태에 대한 진정한 인식”이라는 난제에 접근하기 위해 두 단계 실험 설계를 도입한다. 첫 번째 단계에서는 사전 정의된 개념(예: 색상, 동물, 추상 명사)을 모델의 중간 레이어 활성화에 직접 삽입한다. 삽입 강도와 위치를 다양하게 조절함으로써, 개념이 모델의 토큰 예측에 미치는 영향을 정량화한다. 두 번째 단계에서는 모델에게 “지금 어떤 개념이 활성화되어 있나요?” 혹은 “방금 전의 의도는 무엇이었나요?”와 같은 메타 질문을 제시하고, 모델이 자체 보고한 내부 상태를 수집한다.

주요 결과는 다음과 같다. (1) 개념 감지: 대부분의 실험군 모델은 삽입된 개념이 존재함을 높은 정확도로 보고했으며, 특히 70 B 파라미터 이상 모델은 85 % 이상의 정확도를 기록했다. (2) 기억 재현: 모델은 이전에 주입된 개념을 텍스트 입력 없이도 재현할 수 있었으며, 이는 “내부 메모리”가 존재함을 시사한다. (3) 프리픽스 구별: 인위적으로 삽입된 텍스트(프리픽스)와 모델 자체가 생성한 텍스트를 구분하는 실험에서, Claude Opus 4·4.1은 78 % 이상의 정확도로 구별했지만, 작은 모델은 50 % 수준에 머물렀다. (4) 의도적 조절: 모델에게 “○○에 대해 생각해 보세요”라고 명시적으로 지시하거나, 해당 개념을 포함하도록 보상하면, 해당 레이어의 활성화가 통계적으로 유의미하게 증가함을 확인했다.

하지만 몇 가지 한계도 드러났다. 첫째, 개념 삽입이 강하게 이루어질 경우 모델이 과도하게 확신하는 오류(오버컨피던스)를 보이며, 실제 텍스트와 혼동한다. 둘째, 동일한 프롬프트라도 컨텍스트에 따라 보고 정확도가 크게 변동한다(±20 %). 셋째, 현재 모델들은 “왜”라는 메타 질문에 대한 논리적 근거를 제시하지 못하고, 단순히 확률적 추정에 의존한다. 이러한 점은 향후 연구에서 메타-추론 능력과 신뢰성 향상이 필요함을 강조한다.

전체적으로, 이 논문은 대형 언어 모델이 내부 표현을 “감지”하고 “보고”할 수 있는 초기 형태의 자가 인식 메커니즘을 가지고 있음을 실증적으로 보여준다. 그러나 그 신뢰성은 모델 규모, 훈련 후 파인튜닝 전략, 그리고 프롬프트 설계에 크게 좌우된다. 향후 연구는 (a) 보다 정교한 개념 주입 방법, (b) 메타-학습을 통한 자기 설명 능력 강화, (c) 인간-모델 협업 프로토콜 설계 등을 통해 이러한 내성적 인식을 실용적인 도구로 전환할 가능성을 탐색해야 한다.