수의 표현은 다르지만 관계는 하나다

초록

본 논문은 대형 언어 모델(LLM)에서 숫자 개념이 다양한 작업마다 서로 다른 서브스페이스에 배치되지만, 그 사이의 기하학적 관계는 일관되게 유지된다는 것을 실증한다. Procrustes 분석, 서브스페이스 겹침, SVCCA 등을 활용해 magnitude와 parity 같은 저수준 특성이 선형적으로 분리되고, 작업 간 변환이 거의 선형 매핑으로 가능함을 보여준다. 이는 개념 자체가 아니라 개념 간 관계가 공유되는 메커니즘을 제시한다.

상세 분석

이 연구는 “공유된 관계 구조 vs. 작업별 독립 서브스페이스”라는 인지과학의 오래된 논쟁에 대해 구체적인 메커니즘을 제시한다. 먼저 저자들은 숫자(1‑9)를 다양한 형식(아라비아 숫자, 영어 단어)과 7가지 작업(Quantity, Comparison, Arithmetic, Properties, Ordinal 등)으로 LLM에 입력하고, 각 토큰의 내부 임베딩을 추출한다. 임베딩은 75% 깊이의 중후반 레이어에서 사용했으며, L2 정규화 후 평균을 내어 숫자별 대표 벡터를 만든다.

대표적인 분석 방법으로는 (1) 거리·크기·비율 효과를 코사인 유사도로 측정해 인간의 Mental Number Line(MNL)과 일치하는지 검증했으며, (2) Procrustes 분석을 통해 서로 다른 작업의 임베딩 집합 사이에 rigid 변환(회전·스케일·이동)만으로도 거의 완전한 정렬이 가능함을 확인했다(평균 disparity ≈0.01, 무작위 셔플 대비 0.07‑0.27). 이는 작업별 좌표는 달라도 숫자 간 상대적 관계는 동일한 저차원 구조에 매핑된다는 강력한 증거다.

또한 서브스페이스 겹침 분석을 통해 특정 작업(A)의 상위 k 주성분이 다른 작업(B)의 분산을 얼마나 설명하는지를 정량화했으며, 대부분의 작업 쌍에서 높은 겹침 비율을 보였다. 이는 “작업별 서브스페이스가 완전히 독립”이라는 가설을 부정하고, 실제로는 큰 차원에서 공유된 관계 스키마가 존재함을 시사한다.

SVCCA를 이용한 선형 등가성 평가에서는 평균 canonical correlation이 0.8 이상으로, 두 서브스페이스 사이에 선형 변환만으로도 높은 기능적 동등성을 유지한다는 결과가 도출되었다. 특히 magnitude와 parity/prime 같은 저수준 특성은 거의 직교하는 방향으로 인코딩돼, 한 작업에서의 변화가 다른 특성에 최소한의 간섭만을 일으키도록 설계된 것으로 보인다.

모델별 차이점도 흥미롭다. BERT와 GPT‑2 같은 일반 목적 모델은 작업 간 구분이 비교적 흐릿하고, 숫자 형식 간 차이도 작았다. 반면 Qwen2.5‑Math(수학 특화) 모델은 작업별 클러스터가 뚜렷하고, parity와 primality가 명확히 선형적으로 분리되는 등 더 정교한 서브스페이스 구성을 보여준다. 이는 도메인 특화 사전학습이 서브스페이스 구조를 세분화시키지만, 기본적인 관계 스키마는 그대로 유지된다는 점을 강조한다.

결론적으로, 이 논문은 “공유된 관계 구조 + 선형 변환 가능한 작업 서브스페이스”라는 두 가지 축을 통해 LLM이 일반화와 작업 간 간섭 최소화를 동시에 달성한다는 메커니즘을 제시한다. 이는 인지과학에서 제시된 추상적 이론을 실증적으로 뒷받침하고, 향후 멀티태스크 학습이나 모델 해석에 중요한 설계 원칙을 제공한다.