소통 압력만으로 숫자 표현이 등장한다

초록

두 신경망 에이전트가 점 이미지의 개수를 서로에게 전달하는 지시 게임을 수행한다. 하나는 이산 토큰, 다른 하나는 연속 스케치를 사용해 의사소통한다. 사전 숫자 개념 없이도 훈련된 범위(1~5)에서는 높은 정확도로 숫자를 전달하지만, 훈련에 포함되지 않은 새로운 숫자에 대해서는 가장 큰 훈련 숫자의 신호를 그대로 재사용한다. 즉, 정확성은 확보되지만 구성성이나 일반화 능력은 부족하다.

상세 분석

본 연구는 인간 언어의 숫자 체계가 갖는 ‘정밀성·구성성·일반화·임의성’ 네 가지 특성을 인공 에이전트의 자율적 의사소통 과정에서 자연스럽게 나타나는지를 검증한다. 실험 설계는 두 종류의 커뮤니케이션 채널을 사용한다. 첫 번째는 사전 정의된 어휘집에서 토큰을 선택하는 LSTM 기반 이산 메시지이며, 두 번째는 고정된 수의 직선을 캔버스에 그려 스케치 형태로 전달하는 연속형 메시지다. 양쪽 모두 사전 훈련된 ViT 인코더로 점 이미지와 스케치를 동일한 시각 표현 공간에 매핑한다.

훈련 단계에서는 1~5개의 점 개수를 각각 700번씩 제시하고, 송신자는 해당 점 이미지에 대한 최적 메시지를 생성한다. 수신자는 메시지를 해석해 다섯 개 후보 이미지 중 정답을 선택하도록 학습한다. 손실 함수는 다중 클래스 힌지 손실이며, 메시지 길이 정규화 계수를 도입해 정보 병목을 강제한다. 결과적으로 에이전트는 각 숫자에 대해 거의 일대일 대응하는 고정 길이 토큰 시퀀스(또는 스케치)를 학습한다. 조건부 엔트로피가 낮아 정밀성이 확보되고, 메시지 길이가 짧아질수록 정확도 저하가 거의 없으며, 이는 ‘정밀성+효율성’이 협업 압력만으로도 자연스럽게 발생함을 보여준다.

그러나 일반화 실험에서 훈련에 포함되지 않은 6, 7 등 높은 숫자를 제시하면, 에이전트는 가장 큰 훈련 숫자(5)의 메시지를 그대로 사용한다. 이는 구성성이 결여된 ‘홀리스틱 라벨링’이며, 인간 언어에서 관찰되는 ‘단위·십위·백위’와 같은 체계적 조합 규칙이 전혀 나타나지 않는다. 스케치 채널에서도 비슷한 현상이 관찰되는데, 새로운 숫자에 대해 스케치는 크기와 폭이 훈련된 최고 숫자와 유사한 형태로 수렴한다.

빈도 조작 실험(Uniform/Increase/Decrease)에서는 훈련 샘플 수를 비대칭적으로 배분했음에도 불구하고, 빈도가 높은 숫자가 더 짧은 토큰이나 간단한 스케치로 표현되는 현상은 거의 나타나지 않았다. 이는 메시지 비용을 정확도 외에 별도로 penalize하지 않았기 때문에, 인간 언어에서 흔히 보이는 Zipf 법칙적 단축 현상이 재현되지 않은 것으로 해석된다.

전체적으로, ‘전달 압력’만으로는 정밀한 숫자-신호 매핑은 가능하지만, 구성성·일반화·임의성(특히 빈도 기반 압축) 등을 촉진하려면 추가적인 학습 메커니즘—예를 들어 반복 학습(iterated learning), 어휘 제한, 생산·인식 비용 모델링—이 필요함을 시사한다.