언어·시각·행동 표현의 통합적 정렬

초록

본 연구는 BabyAI 환경에서 행동 복제 학습을 통해 얻은 행동 기반 언어 임베딩이 최신 대형 언어 모델(LLaMA, Qwen, DeepSeek, BERT) 및 시각‑언어 모델(CLIP, BLIP)과 얼마나 정렬되는지를 정량적으로 평가한다. 실험 결과 행동 임베딩은 디코더‑전용 언어 모델과 BLIP과 높은 정렬을 보이며, 이는 서로 다른 모달리티 간에 공유되는 의미 구조가 존재함을 시사한다.

상세 분석

이 논문은 전통적인 “모달리티 별 특화” 가설에 도전한다. 저자는 BabyAI 플랫폼에서 2D 격자 세계와 6가지 기본 행동을 갖는 에이전트를 설계하고, 자연어 명령을 입력으로 받아 행동 시퀀스를 생성하도록 트랜스포머 기반 정책을 행동 복제(Behavioral Cloning) 방식으로 학습시켰다. 핵심은 언어 토큰 임베딩을 무작위 초기화하고, 오직 행동 목표를 달성하기 위한 손실(크로스 엔트로피)만으로 업데이트함으로써 “액션‑그라운드드 언어 임베딩”을 얻은 점이다. 이렇게 학습된 임베딩은 시각 정보와 결합된 후 크로스‑어텐션을 거쳐 128‑차원 문장 표현을 만든다.

비교 대상은 최신 LLM(LLaMA‑7B, Qwen‑7B, DeepSeek‑7B, BERT‑base)와 VLM(CLIP‑ViT‑B/32, BLIP‑ViT‑L)이며, 각 모델의 토큰 혹은 이미지‑텍스트 임베딩을 동일 차원(128)으로 선형 변환 후 코사인 유사도 기반 정렬 지표인 precision@15를 계산했다. 결과는 행동 임베딩이 디코더‑전용 LLM과 BLIP과 0.70~0.73의 높은 정렬 점수를 보인 반면, CLIP과 BERT은 0.45 이하로 현저히 낮았다. 이는 행동 기반 학습이 텍스트‑예측 중심 모델보다 시각‑언어 결합 모델인 BLIP과 더 유사한 의미 구조를 형성한다는 의미이다.

또한, 언어 모델 간 정렬 점수와 비교했을 때 행동‑언어 정렬이 거의 동등함을 확인함으로써, 행동 목표 달성을 위한 표현이 언어 자체의 의미 구조를 충분히 포착한다는 강력한 증거를 제공한다. 저자는 이러한 정렬이 “부분적으로 공유된 의미 공간”을 반영한다는 가설을 제시하고, 이는 다중 모달리티 간 전이 학습 및 로봇 제어에 새로운 가능성을 열어준다.