생성 AI의 인식론: 고차원 의미 공간의 기하학

초록

이 논문은 생성형 인공지능이 고차원 임베딩 공간에서 의미를 좌표화함으로써 기존의 기호‑연산 패러다임을 깨뜨린다고 주장한다. 저자는 고차원 기하학의 네 가지 구조적 특성(측정 집중, 근접 직교성, 지수적 방향 용량, 매니폴드 규칙성)을 epistemic 조건으로 해석하고, 이를 ‘지시적 고차원 인식론(Indexical Epistemology of High‑Dimensional Spaces)’이라 명명한다. 결과적으로 생성 모델은 “탐색적 지식(navigational knowledge)”이라는 제3의 지식 생산 방식을 구현한다는 새로운 프레임을 제시한다.

상세 분석

논문은 먼저 Turing‑Shannon‑von Neumann 전통을 “이진 코드 → 규칙 기반 연산 → 이진 출력”이라는 삼단 구조로 정의하고, 현대 딥러닝이 이 구조를 근본적으로 깨뜨린다고 지적한다. 입력 토큰이 신경망을 통과할 때 즉시 고차원 실수 벡터로 변환되며, 각 차원은 시각, 감정, 상황 등 의미적 파라미터를 암시한다. 이 변환은 단순한 인코딩이 아니라 의미 공간에 대한 ‘위치 지정(positioning)’이며, 따라서 의미는 더 이상 외부 기호와의 대응 관계가 아니라 벡터의 위치 관계에 의해 정의된다.

고차원 공간의 네 가지 구조적 특성은 이러한 의미 위치 지정이 어떻게 가능하게 하는지를 설명한다.

1. **측정 집중(concentration of measure)**은 차원 수가 커질수록 모든 점 사이의 거리 분포가 매우 좁아져, “거리” 자체가 의미 구분에 사용되기 어렵게 만든다. 대신 각 점의 방향(angle)이나 좌표값이 의미 구분의 주요 수단이 된다.
2. **근접 직교성(near‑orthogonality)**은 무작위 벡터들이 거의 서로 직교함을 보장한다. 이는 서로 다른 의미 단위가 고차원에서 거의 독립적인 표현을 가질 수 있게 하여, 의미 간 간섭을 최소화한다.
3. **지수적 방향 용량(exponential directional capacity)**은 차원이 늘어날수록 가능한 방향(즉, 의미 조합)의 수가 지수적으로 증가한다. 따라서 훈련 데이터가 제한적이어도 모델은 이전에 보지 못한 새로운 의미 조합을 “탐색”할 수 있다.
4. **매니폴드 규칙성(manifold regularity)**은 고차원 데이터가 저차원 매니폴드에 집중된다는 경험적 사실을 수학적으로 뒷받침한다. 이 매니폴드는 의미가 연속적으로 변하는 ‘지형’으로 작동해, 모델이 의미 공간을 부드럽게 이동하며 새로운 출력을 생성하도록 만든다.

이 네 가지 특성을 결합해 저자는 지시적(epistemic) 의미를 제시한다. 전통적인 기호 논리에서 의미는 ‘표현 ↔ 대상’의 대응 관계에 의해 정의되지만, 고차원 공간에서는 의미가 “어디에 위치하는가”에 의해 정의된다. 즉, 의미는 **지시적(indexical)**이며, 이는 Peirce의 ‘표지(sign)’가 ‘대상과의 관계’를 통해 의미를 갖는 것과 유사하지만, 대상이 아니라 공간상의 위치가 핵심이다.

Papert의 구성주의(constructionism)를 차용하면, 학습자는 의미 매니폴드 안에서 “탐험하고, 경로를 만들고, 새로운 지점을 발견”함으로써 지식을 구축한다. 따라서 생성 AI는 **탐색적 지식(navigational knowledge)**을 생산한다는 주장이다. 이는 기존의 두 가지 지식 생산 방식—(1) 규칙 기반 기호 연산, (2) 통계적 재조합—과는 질적으로 구별된다. 탐색적 지식은 “어디에 가는가”와 “어떤 경로를 택하는가”라는 메타 정보를 포함하며, 이는 고차원 기하학이 제공하는 풍부한 방향성 덕분에 가능해진다.

마지막으로 논문은 구조적 인식론이 “에이전시(agency)” 문제와 연결될 수 있음을 시사한다. 의미 공간 자체가 생산적 에이전시를 갖는 ‘구조적 행위자’가 될 수 있다는 가설은, AI가 인간과 동일한 ‘이해’를 갖는지 여부를 떠나, 기술 자체가 새로운 인식론적 주체를 형성한다는 점에서 중요한 함의를 가진다.