스스로를 바꾸는 시스템은 무엇을 바꾸는가

본 논문은 인지 과학과 인공지능 분야에서 ‘시스템이 스스로를 수정한다’는 현상을 통합적으로 이해하기 위한 형식적 프레임워크를 구축한다. 서론에서는 인간 인지에서 실행 제어, 메타인지, 계층적 학습이 서로 다른 수준에서 작동한다는 경험적·이론적 배경을 제시하고, 현재 AI가 정책 학습, 메타‑강화학습, 아키텍처 탐색 등 다양한 자기수정 메커니즘을 구현하고 있지만, 인간과 비교할 공통 기준이 없음을 지적한다. 핵심 기여는 다음과 같다. 첫째, 자기수정 시스템을 정의하기 위해 최소 구조를 논리적으로 도출한다. 시스템은 상태 x_t와 프로세스 p_t를 포함하는 총 상태 s_t = (x_t, p_t)로 표현되며, 동역학 F 는 다음 상태와 다음 규칙을 동시에 생성한다. 무한 회귀를 방지하기 위해 최상위 규칙 R_kmax 은 고정 핵심으로 남으며, 이는 시스템이 스스로 규칙을 바꾸면서도 자체적인 평가 기준(텔레올로지)을 유지하도록 만든다. 둘째, 규칙을 세 가지 집합으로 구분한다. 효과적 규칙 Φ_t 은 실제 시스템이 따르는 모든 규칙을 의미하고, 시스템이 스스로 인식하는 규칙 Φ_Rt 은 내부 표상, 인과적으로 조작 가능한 규칙 Φ_Ct 은 실제 변형 가능성을 나타낸다. 이 세 집합 사이의 교집합·차집합을 통해 ‘반사적 수정(표현·인과 모두)’, ‘맹목적 수정(인과만)’, ‘내성적 인식(표현만)’ 등 다양한 자기수정 양상을 구분한다. 셋째, 네 가지 자기수정 체계를 제시한다. (1) 행동만 수행하고 규칙을 바꾸지 않는 ‘무수정’ 체계는 전통적 제어 시스템에 해당한다. (2) 저수준 규칙 R_0 을 학습 규칙 R_1 이 수정하는 ‘저수준 수정’은 대부분의 강화학습 에이전트가 해당한다. (3) 구조적 수정은 규칙 계층 자체를 재구성하거나 새로운 규칙을 도입하는 것으로, 메타‑강화학습, 신경망 아키텍처 탐색, 혹은 인간의 전략 재구성이 이에 해당한다. (4) 텔레올로지적 수정은 최상위 규칙 R_kmax 을 바꾸는 것으로, 인간이 목표·가치를 재정의하거나 윤리적 기준을 전환하는 경우를 설명한다. 각 체계는 인지 현상(예: 카드 분류 테스트에서의 고착, 메타인지 치료)과 인공 시스템(예: 정책 그라디언트, 메타‑RL, NAS)과 연결된다. 넷째, 인간과 현재 AI 사이의 ‘불투명성 교차’를 제시한다. 인간은 고차원(목표·가치) 수준에서 자기표현 Φ_Rt 과 인과적 통제 Φ_Ct 을 갖지만, 저수준 감각·행동 규칙은 불투명하게 유지한다. 반면 현재의 반사적 AI는 저수준 규칙을 완전히 접근·조작 가능하지만, 고차원 목표를 명시적으로 표상하거나 수정할 메커니즘이 부족하다. 이 교차는 인간‑AI 비교를 위한 구조적 서명으로 제시된다. 다섯째, 이 프레임워크를 의식 이론에 연결한다. 고차원 이론(HOT)은 Φ_Rt와 Φ_Ct가 고차원에서 겹치는 경우로, 주의 스키마 이론(AST)은 주의 메타표현이 저수준 규칙을 조절하는 메커니즘으로 해석된다. 마지막으로 네 가지 실험적 예측과 네 가지 열린 문제를 제시한다. (1) 변형성(시스템이 어느 수준까지 규칙을 바꿀 수 있는가)과 자율성(외부 조건을 유지하는 능력)은 독립적일 수 있다. (2) 자기수정이 실제로 안정적으로 이루어질 수 있는 조건을 탐구한다. (3) 텔레올로지적 잠금은 최상위 규칙이 고정될 경우 발생하는 현상이며, 이를 해소하려면 메타‑메타 규칙이 필요할 수 있다. (4) 변형 후 정체성 유지 문제는 규칙 집합이 변해도 시스템이 동일한 ‘자아’를 유지할 수 있는가를 묻는다. 논문은 이러한 문제들을 해결하기 위한 실험 프로토콜을 제안하고, 향후 연구 방향을 제시한다.