예측 시퀀스 모델에서 경로 통합과 객체‑위치 결합이 나타난 최소 과제

초록

연속적인 시선 이동과 토큰 레이블을 입력으로 받아 다음 토큰을 예측하도록 훈련된 3‑계층 GRU 네트워크가, 새로운 2‑D 토큰 장면을 탐색하면서 내부적으로 경로 통합(path integration)과 토큰‑위치 바인딩을 자동으로 형성한다는 것을 보여준다. 디코딩 및 개입 실험을 통해 이 바인딩이 인‑컨텍스트 학습으로 빠르게 업데이트되고, 훈련 분포 밖의 토큰‑위치 조합까지 일반화됨을 확인하였다.

상세 분석

본 연구는 행동‑조건부 예측이 구조화된 세계 모델을 형성하는 충분조건인지 검증하기 위해, 2‑D 연속 공간에 무작위로 배치된 4~6개의 알파벳 토큰을 “장면”으로 정의하고, 토큰 간 시선 이동(사카드) 정보를 입력으로 하는 순차 예측 과제를 설계하였다. 모델은 512 차원의 은닉 상태를 갖는 3‑계층 GRU이며, 토큰 레이블(26‑차원 원-핫)과 사카드 벡터(2‑차원)를 각각 선형 변환 후 결합해 입력한다. 출력은 다음 토큰 레이블을 예측하는 26‑차원 소프트맥스이다. 40 960 배치(각 배치 200 장면, 시퀀스 길이 100) 동안 교차 엔트로피 손실을 최소화하도록 학습하였다.

학습 후 모델을 완전히 동결한 상태에서 전혀 보지 못한 장면을 탐색하면, 시퀀스가 진행될수록 예측 정확도가 급격히 상승한다(≈35 스텝에서 정점). 이는 모델이 현재까지 관찰한 토큰‑위치 정보를 내부 상태에 축적하고, 이를 활용해 “인‑컨텍스트 학습”을 수행한다는 증거이다.

내부 메커니즘을 규명하기 위해 각 레이어의 활성화를 SVM으로 디코딩하였다. 현재 토큰 레이블은 모든 레이어에서 높은 정확도로 복원되었으며, 다음 토큰 레이블은 레이어가 깊어질수록 점진적으로 향상되었다. 더 흥미로운 점은 절대 위치 정보가 첫 레이어에서 거의 완벽하게 디코딩되었고, 깊은 레이어에서도 여전히 높은 선형 분리성을 유지한다는 것이다. 이는 모델이 상대적인 사카드 입력만 받음에도 불구하고, 순차적으로 경로 통합(path integration)을 수행해 절대 좌표를 추정한다는 강력한 증거이다.

또한 토큰 레이블과 절대 위치가 각각 디코딩 가능한 것만으로는 바인딩이 존재한다는 것을 증명할 수 없다. 이를 검증하기 위해 “라벨‑포지션 튜플” 디코딩을 수행했으며, 실제 일치하는 튜플(현재 혹은 다음 위치)의 디코딩 정확도가 라벨·포지션을 별도로 디코딩한 정확도의 곱(예상 베이스라인)보다 유의하게 높았다. 반대로, 서로 다른 시점에서 결합된 불일치 튜플은 베이스라인보다 낮거나 차이가 없었다. 이는 모델이 라벨‑포지션을 결합한 사전식 딕셔너리 형태의 바인딩을 내부에 유지한다는 것을 의미한다.

개입 실험에서는 시퀀스 중간(≈35 스텝)에서 특정 토큰을 다른 레이블로 교체하거나, 새로운 토큰을 추가하였다. 교체된 위치의 예측 정확도는 초기에는 기존 레이블에 의해 오류가 발생했지만, 약 180 스텝 이후 새로운 레이블이 우세해지며 완전히 대체되었다. 새로운 토큰을 추가했을 때도 모델은 약 50 스텝 내에 해당 위치를 학습해 정확히 예측했으며, 이는 인‑컨텍스트 메모리의 플라스틱성이 시간이 경과해 감소하지 않음을 보여준다.

마지막으로 훈련 시 특정 레이블(k)이 오직 (1,1) 위치에만 등장하도록 제한하고, 테스트에서는 그 레이블을 전혀 보지 못한 다른 사분면에 배치하였다. 모델은 여전히 새로운 위치에서 k 레이블을 정확히 예측했으며, 이는 바인딩 메커니즘이 훈련 분포 외의 레이블‑위치 조합까지 일반화할 수 있음을 시사한다.

전체적으로, 행동‑조건부 순차 예측 목표만으로도 경로 통합과 라벨‑포지션 바인딩이라는 두 핵심 인지 메커니즘이 자동으로 발현한다는 점은, 인간의 세계 모델 형성 과정에 대한 신경계 구현 가설을 뒷받침한다.