다중모달 재귀 신경망을 이용한 상호작용형 언어 습득 모델

초록

본 논문은 인간의 언어 습득 메커니즘을 신경과학과 행동심리학의 통찰을 결합해 모델링한다. 연속시간 재귀 신경망(CTRNN) 기반의 다중시간척도 구조와 시각·촉각 모달리티를 통합한 셀 어셈블리를 통해 로봇이 실시간 상호작용 속에서 의미 있는 언어 표현을 학습하고, 계층적 개념 추상화와 분해, 자가 조직화된 잠재 표현을 구현한다.

상세 분석

이 연구는 언어 습득을 ‘구현된 몸(embodied)’과 ‘다중시간척도(multi‑timescale)’라는 두 축으로 재구성한다. 먼저 연속시간 재귀 신경망(CTRNN)을 선택한 이유는 뇌의 신경 활동이 연속적인 전위 변화를 보이며, 시냅스 가중치가 시간에 따라 누적·소멸되는 특성을 근사할 수 있기 때문이다. 논문은 각 모달리티(시각, 촉각, 청각 등)에 대해 서로 다른 누설 상수(leakage constant)를 부여해 빠른 감각 입력과 느린 개념적 통합을 동시에 처리하도록 설계하였다. 이러한 다중시간척도 구조는 뇌의 피라미드형 계층과 유사하게, 저수준 감각 신호는 높은 주파수(짧은 시계열)로, 고수준 의미는 낮은 주파수(긴 시계열)로 인코딩된다.

두 번째 핵심은 ‘셀 어셈블리(cell assembly)’ 개념을 차용한 고차원 노드 결합이다. 각 모달리티의 상위 레이어 노드들은 상호 연결되어 공동 활성화 패턴을 형성하고, 이는 반복 학습을 통해 강하게 결합된 어셈블리로 고정된다. 이 과정은 Hebbian 학습 규칙과 유사하게, 동시 발생하는 신호가 시냅스 가중치를 강화시켜 ‘연합 기억’이 형성되는 메커니즘을 구현한다.

학습 절차는 로봇이 환경과 물리적 상호작용을 수행하면서 얻은 시계열 데이터(예: 물체를 잡는 촉각 신호와 동시에 시각적 피드백)를 입력으로, 목표 언어 출력을 생성하도록 지도학습과 강화학습을 혼합한다. 특히 ‘자기 지도(self‑supervision)’ 방식으로, 로봇이 스스로 행동-언어 쌍을 생성하고, 그 쌍을 재평가해 보상 신호를 조정함으로써 데이터 효율성을 높인다.

실험 결과는 세 가지 주요 성과를 보여준다. 첫째, 모델은 시각‑촉각 동시 입력을 기반으로 명사와 동사를 구분하는 초기 어휘를 습득한다. 둘째, 학습된 셀 어셈블리는 새로운 물체나 동작에 대해 빠르게 일반화하여, 기존 개념을 재구성하고 새로운 조합을 생성한다. 셋째, 다중시간척도 구조 덕분에 장기 의존성(예: 복합 문장 구조)도 비교적 적은 에포크로 학습된다.

이러한 설계는 기존의 단일시간척도 RNN이나 Transformer 기반 모델이 갖는 ‘시간적 흐름 손실’ 문제를 보완하고, 뇌의 다중스케일 처리와 연합 기억 형성 메커니즘을 신경망에 직접 매핑함으로써 신경인지과학적 타당성을 확보한다. 또한, 로봇에 적용된 ‘몸-뇌-언어’ 루프는 인간 영유아가 환경 탐색을 통해 언어를 습득하는 과정과 구조적으로 유사하므로, 향후 인간‑로봇 상호작용(HRI) 및 인공 일반 지능(AGI) 연구에 중요한 이정표가 될 수 있다.