구조적 편향이 이끄는 그래프 기반 언어 발생: 조합성 및 일반화 향상

본 연구는 인간이 복잡한 개념을 단어 혹은 문장으로 평탄화하는 과정을 모방하고자, 그래프 형태의 입력을 활용한 새로운 참조 게임 환경을 제안한다. 기존의 참조 게임은 주로 Bag‑of‑Words, 순차 모델 혹은 이미지 입력에 의존했으며, 이러한 표현 방식은 조합적 일반화에 한계를 보였다. 저자들은 두 종류의 그래프 기반 게임, 즉 속성 트리 구조를 갖는 Game‑1과 임의의 관계를 나타내는 무방향 그래프를 사용하는 Game‑2를 설계하였다. 각 게임에서 스피커와 리스너는 그래프 신경망(GCN, GraphSAGE)으로 인코딩된 그래프를 입력받아, 스피커는 그래프 임베딩을 시퀀스 디코더에 전달해 고정 길이의 메시지를 생성한다. 리스너는 이 메시지와 목표 그래프, 방해 객체들의 집합을 받아 목표를 식별하는 분류 작업을 수행한다. 학습 과정에서는 Gumbel‑Softmax의 straight‑through 버전을 사용해 이산 메시지를 생성하고, 전체 시스템을 엔드‑투‑엔드로 최적화한다. 실험에서는 (1) 언어 조합성 측정인 토폴로지 유사도, (2) 미지의 속성 조합에 대한 외도 일반화(OOD) 성능, (3) 통신 채널 의존성 검증, (4) 그래프 신경망 구조에 대한 소거 실험 네 가지 관점을 통해 모델을 평가하였다. 토폴로지 유사도 결과는 그래프 기반 모델이 Bag‑of‑Words와 Seq2Seq에 비해 일관되게 높은 상관관계를 보였으며, 특히 방해 객체 수가 늘어날수록 그 차이가 두드러졌다. 이는 구조적 입력이 각 속성을 독립적인 심볼에 매핑하도록 유도해 조합적 언어를 촉진한다는 것을 의미한다. OOD 일반화 실험에서는 훈련에 등장하지 않은 새로운 속성 조합을 테스트했을 때, 그래프 모델이 9, 19, 49개의 방해 객체 조건에서 각각 약 90 %, 70 %, 55 % 이상의 정확도를 유지했다. 반면 순차·Bag‑of‑Words 모델은 복잡도가 증가함에 따라 급격히 성능이 저하되었다. 이는 그래프 구조가 미지의 조합을 해석하는 데 필요한 추론 능력을 제공한다는 강력한 증거이다. 통신 채널 의존성 검증을 위해 메시지의 첫 번째 심볼을 무작위로 교체한 실험을 수행했으며, 원본 메시지 대비 정확도가 크게 감소하였다. 이는 에이전트가 단순히 입력을 기억하는 것이 아니라, 학습된 커뮤니케이션 프로토콜에 의존해 목표를 판별한다는 것을 보여준다. 소거 실험에서는 GraphSAGE와 GCN, 다양한 풀링 방식(mean, sum, max) 및 어그리게이터(mean, pool, gcn)를 조합해 성능을 비교하였다. sum 풀링이 가장 높은 정확도를 제공했으며, 모델 아키텍처 간 차이는 미미했다. 이는 입력의 구조적 편향이 조합성 언어 형성에 핵심적인 역할을 한다는 결론을 뒷받침한다. 결론적으로, 그래프 기반 입력과 그래프 신경망을 활용하면 인공 에이전트가 인간 언어와 유사한 조합적 특성을 갖는 프로토콜을 학습할 수 있다. 구조적 inductive bias는 복잡한 커뮤니케이션 상황에서 효율적인 의미 압축과 미지의 조합에 대한 일반화를 가능하게 하며, 향후 인간‑기계 상호작용 및 다중 에이전트 협업 시스템 설계에 중요한 설계 원칙이 될 수 있다.