시각청각 경험으로 배우는 초기 언어 습득 모델

초록

이 논문은 실제 영아와 양육자의 상호작용 녹음 데이터를 이용해, 시각‑청각 입력의 통계적 연관성을 활용해 단어 구분과 의미를 동시에 학습할 수 있는 신경망 모델을 제안한다. 모델은 청각 신호와 시각 객체 라벨이 동시에 제공되는 상황과, 시각 라벨이 무작위인 상황을 모두 학습하며, 결과는 모호한 학습 환경에서도 초기 어휘 지식이 형성될 수 있음을 보여준다. 또한 은닉층이 깊어질수록 음소 범주에 대한 선택성이 증가하는 현상을 관찰해, 감독 학습 없이도 음성 인식에 필요한 구조적 특성이 자연스럽게 발달함을 시사한다.

상세 분석

본 연구는 영아가 언어를 습득하는 초기 단계에서 시각‑청각 멀티모달 정보가 어떻게 통계적 부트스트래핑 역할을 할 수 있는지를 검증하고자 한다. 이를 위해 저자들은 실제 영아‑양육자 대화 녹음(약 30시간)과 동시에 영아의 시선 추적 데이터를 수집하였다. 시선이 특정 물체에 고정된 순간에 양육자가 해당 물체 이름을 발화하면, 해당 발화에 물체 라벨을 부여하고, 시선이 분산된 경우에는 무작위 라벨을 할당하는 방식으로 데이터셋을 구성하였다. 이렇게 얻어진 데이터는 ‘referentially ambiguous’ 즉, 각 발화가 어느 물체와 연결되는지 확실히 알 수 없는 상황을 반영한다.

모델은 입력층에 멜-스펙트로그램 기반의 청각 특징과, 시각 라벨을 원-핫 인코딩한 벡터를 동시에 제공한다. 중간 은닉층은 다층 순환 신경망(LSTM) 구조로, 각 층마다 시간적 컨텍스트를 통합한다. 출력층은 두 가지 목표를 동시에 최적화한다: (1) 발화 내 단어 경계 예측(시퀀스 라벨링), (2) 시각 라벨과의 연관성 학습(다중 클래스 분류). 손실 함수는 CTC(연결성 시계열 분류)와 교차 엔트로피 손실을 가중합한 형태이며, 이는 단어 경계와 의미 매핑을 동시에 학습하도록 설계되었다.

실험 결과는 세 가지 주요 관점을 제공한다. 첫째, 모델은 무작위 라벨이 섞인 데이터에서도 의미 있는 단어 구분 성능을 달성했으며, 특히 시선이 집중된 구간에서 높은 정확도를 보였다. 이는 영아가 실제로 불완전하고 잡음이 많은 환경에서도 통계적 연관성을 이용해 어휘를 형성할 수 있음을 뒷받침한다. 둘째, 은닉층 깊이에 따라 음소 범주에 대한 선택성이 점진적으로 강화되는 현상이 관찰되었다. 얕은 층은 주로 저주파 에너지와 같은 기본 음향 특성에 반응했지만, 깊은 층은 특정 자음·모음 클러스터에 특화된 활성 패턴을 보이며, 이는 감독 학습 없이도 음성 인식에 필요한 추상화가 자연스럽게 발생한다는 점을 시사한다. 셋째, 모델이 학습한 내부 표현을 t‑SNE로 시각화했을 때, 같은 의미를 가진 발화들이 시각 라벨에 관계없이 클러스터링되는 경향을 확인했다. 이는 의미와 형태가 독립적으로 정렬되는 ‘다중 모달 정합성’이 형성되었음을 의미한다.

한계점으로는 데이터 양이 제한적이며, 시각 라벨이 실제 물체와 완전히 일치하지 않을 가능성이 존재한다는 점, 그리고 현재 모델이 단어 수준의 의미만을 다루고 있어 구문·문맥 수준의 통합 학습이 부족하다는 점을 들 수 있다. 향후 연구에서는 더 다양한 환경(실내·실외, 다중 화자)과 장기 기억 메커니즘을 도입해 영아의 지속적인 어휘 확장을 모사할 필요가 있다.