오류 기반 최소 설명 길이와 개념 확장 메커니즘
📝 원문 정보
- Title:
- ArXiv ID: 2512.18732
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
개념 학습은 기존 표현이 경험을 설명하지 못할 때 비로소 가능해진다. 그러나 대부분의 학습·추론 모델은 믿음 업데이트가 일어나는 고정된 표현 기반을 전제로 한다. 본 논문에서는 언제, 어떤 구조적 조건 하에 표현 기반 자체가 원칙적이고 선택적으로 확장될 수 있는지를 탐구한다. 나는 최소 설명 길이(MDL) 기준으로 평가되는 허용 가능한 기저 확장을 모델링하는 기하학적 틀을 제안한다. 경험은 현재 개념 부분공간에 대한 벡터로 표현되며, 잔차 성분은 체계적인 표현 실패를 포착한다. 후보 개념 확장은 저차원, 허용 가능한 변환으로 제한된다. 나는 MDL이 받아들인 모든 확장은 그 새로운 방향이 경험에 의해 유도된 잔차 스팬 안에 완전히 포함될 수 있음을 보이고, 이 스팬에 직교하는 확장은 설명 길이를 엄격히 증가시켜 거부된다는 것을 증명한다. 이는 상상과 개념 혁신에 대한 보수적 설명을 제공한다. 내부적으로 생성된 반사실적 표현은 구조화된 잔차 오류를 드러내거나 증폭시키는 경우에만 학습에 기여하며, 임의의 새로운 개념을 도입할 수는 없다. 나는 또한 표현적 반사실(에이전트의 개념 기저에 대한 반사실)과 인과·가치 수준의 반사실을 구분하고, MDL이 표현 변화에 대한 규범적 선택 원리를 제공함을 보인다. 전반적으로 이 틀은 오류 구동·기하학 제약 기반의 기저 확장 과정을 통해 개념 발달을 규정하고, 학습과 이론 변화에서 상상의 역할과 한계를 명확히 한다.💡 논문 핵심 해설 (Deep Analysis)
이 논문은 인지 과학과 기계 학습 분야에서 오랫동안 논의되어 온 “표현의 변형 가능성” 문제에 새로운 시각을 제시한다. 전통적인 베이즈 학습 모델이나 신경망 기반 학습 체계는 모두 고정된 파라미터 공간 혹은 사전 정의된 구조 위에서 사후 확률을 업데이트한다. 즉, 새로운 개념이나 변수 자체를 추가·제거하는 메커니즘은 외부에서 별도로 설계되지 않는 한 모델 내부에서 일어나지 않는다. 저자는 이러한 한계를 극복하기 위해 ‘기저 확장(basis extension)’이라는 기하학적 접근을 도입한다. 여기서 ‘기저’는 현재 에이전트가 가지고 있는 개념적 서브스페이스를 의미하며, 경험은 이 서브스페이스에 대한 좌표 벡터로 표현된다. 경험이 기존 서브스페이스에 완전히 포함되지 않을 경우, 잔차 벡터가 남게 되고, 이는 현재 표현이 설명하지 못하는 구조적 오류를 나타낸다.잔차를 어떻게 처리하느냐가 바로 새로운 개념을 도입할지 말지를 결정한다. 저자는 후보 확장을 ‘저차원·허용 가능한 변환’으로 제한한다는 점에서 중요한 가정을 둔다. 이는 무한히 복잡한 변환을 허용하지 않음으로써 계산적 실현 가능성을 확보하고, 동시에 인간의 인지 과정이 ‘단순하고 직관적인’ 변화를 선호한다는 심리학적 증거와도 일맥상통한다.
핵심 선택 기준은 최소 설명 길이(MDL)이다. MDL은 모델 복잡도와 데이터 적합도 사이의 트레이드오프를 정량화하는 정보 이론적 원칙으로, 여기서는 ‘설명 길이’를 모델이 경험을 압축하는 데 필요한 비트 수로 해석한다. 저자는 두 가지 정리를 제시한다. 첫째, MDL이 받아들인 확장은 반드시 새로운 방향이 현재 잔차 스팬 안에 포함될 수 있다. 이는 새로운 개념이 기존 오류를 직접적으로 ‘설명’하거나 ‘소거’하는 역할을 해야 함을 의미한다. 둘째, 잔차 스팬에 직교하는 확장은 설명 길이를 증가시켜 자동적으로 거부된다. 직교 방향은 기존 오류와 무관하게 새로운 차원을 추가하는 것이므로, 정보 효율성 관점에서 비효율적이다.
이러한 결과는 상상(imagination)의 기능을 제한적으로 재해석한다. 내부적으로 생성된 반사실(counterfactual) 표현은 실제 경험이 남긴 잔차를 확대하거나 재구성하는 도구로만 작용한다. 즉, 순수히 ‘창의적인’ 혹은 ‘임의적인’ 새로운 개념을 도입하려면 반드시 외부 경험에 의해 암시된 구조적 오류가 존재해야 한다. 이는 과학 혁명의 ‘패러다임 전환’이 완전히 무작위가 아니라, 누적된 관찰 오류와 그에 대한 체계적 반응을 통해 이루어진다는 토마스 쿤의 주장과도 일맥상통한다.
또한 저자는 표현적 반사실과 인과·가치 수준의 반사실을 구분한다. 전자는 개념 기저 자체를 변형시키는 가상의 시나리오이며, 후자는 기존 개념을 이용해 ‘무엇이 달라졌을까’를 묻는 질문이다. MDL은 전자를 평가할 때는 잔차 스팬과의 정합성을, 후자를 평가할 때는 기존 모델의 예측 정확도 변화를 기준으로 삼는다. 따라서 두 종류의 반사실이 학습에 미치는 영향이 명확히 구분된다.
결론적으로, 이 논문은 ‘오류‑구동·기하학‑제약’이라는 삼중 구조를 통해 개념 확장의 원리를 정형화한다. 이는 인공지능 시스템이 스스로 새로운 변수나 구조를 도입하도록 설계할 때, 무분별한 차원 폭증을 방지하고, 경험에 기반한 효율적인 학습을 보장하는 설계 원칙을 제공한다. 향후 연구에서는 이 틀을 실제 강화학습 에이전트나 인간 인지 실험에 적용해, 이론적 예측과 실증적 결과를 비교 검증하는 것이 기대된다.