그림을 통해 배우는 언어 Imaginet 모델

초록

Imaginet은 텍스트와 이미지가 짝을 이룬 데이터를 이용해, 두 개의 GRU 네트워크와 공유 임베딩을 통해 단어 의미와 문장 구조를 동시에 학습하는 시각‑언어 통합 모델이다. 하나의 경로는 문장을 읽으며 다음 단어를 예측하고, 다른 경로는 전체 문장을 읽은 뒤 이미지 특징 벡터를 재구성한다. 다중 과제 손실(텍스트와 시각)로 훈련되며, 실험에서 인간의 단어 유사도 평가, 이미지 검색, 패러프레이즈 검색 등에서 기존 선형 베이스라인을 크게 능가한다.

상세 분석

Imaginet은 언어 습득 과정에서 시각 정보가 차지하는 역할을 모델링하기 위해 설계되었다. 핵심 설계는 두 개의 병렬 Gated Recurrent Unit(GRU) 네트워크와 단어 임베딩을 공유한다는 점이다. 입력 문장의 각 토큰은 임베딩 행렬 We 에서 조회되어 두 GRU에 동시에 공급된다. 시각 경로 hV 는 문장의 마지막 토큰까지 순차적으로 업데이트된 후, 완전 연결층 V 와 클리핑된 ReLU를 거쳐 4096‑차원의 이미지 특징 î 를 출력한다. 텍스트 경로 hT 는 각 시점 t 에서 softmax L 를 통해 다음 단어 S_{t+1} 의 확률 분포를 예측한다. 손실 함수는 α 라는 가중치로 조절되는 두 개의 서브 손실 LT (교차 엔트로피)와 LV (평균 제곱 오차)의 가중합으로 구성된다. α=0이면 순수 시각 모델, α=1이면 순수 언어 모델, 0<α<1이면 다중 과제 학습이 이루어진다.

학습은 MS‑COCO 캡션 데이터와 사전 훈련된 VGG‑16(16‑layer CNN)에서 추출한 4096‑차원 이미지 피처를 목표로 한다. 임베딩 차원과 각 GRU 은닉 차원을 1024로 설정하고, Adam 옵티마이저로 8 에폭(반복) 동안 훈련한다. 실험에서는 세 가지 모델 변형(VISUAL, MULTI‑TASK, TEXTUAL)과 단순 bag‑of‑words 선형 회귀(LINREG)를 비교한다.

단어 의미 평가는 두 개의 인간 어휘 유사도 데이터셋(MEN‑3K, SimLex‑999)에서 코사인 유사도로 측정한다. MULTI‑TASK 모델은 0.39/0.63의 Spearman ρ 값을 기록해, VISUAL(0.32/0.57)과 TEXTUAL(0.31/0.53)보다 우수하며, LINREG(0.18/0.23)을 크게 앞선다. 특히 반의어, 관용구, 시각적으로는 연관성이 낮은 의미 관계를 잘 포착한다.

이미지 검색 실험에서는 단어를 하나의 문장으로 입력해 시각 경로의 최종 은닉 상태 hVτ 를 시각 공간에 투사하고, ImageNet 검증 이미지와의 코사인 유사도로 Top‑5 정확도를 측정한다. VISUAL과 MULTI‑TASK 모두 LINREG 대비 현저히 높은 정확도(≈0.57 vs 0.23)를 보이며, MULTI‑TASK이 약간 더 좋은 성능을 나타낸다.

문장 구조 학습 효과는 두 가지 방식으로 검증한다. 첫째, 원문 순서와 무작위 섞은 순서로 캡션을 입력했을 때 이미지 검색 정확도 차이를 비교한다. 원문에서는 Top‑5 정확도가 약 30% 수준이지만, 섞은 경우는 10% 이하로 급락한다. 이는 모델이 어휘 순서와 구문 정보를 활용한다는 증거다. 흥미롭게도 VISUAL 변형도 순서에 민감한데, 이는 이미지 자체가 문장 구조를 반영하기 때문이다. 둘째, 패러프레이즈 검색에서는 동일 이미지에 대한 다섯 개 캡션을 서로 비교해, 같은 이미지에 속한 캡션이 Top‑4에 포함되는 비율을 측정한다. 원문에서는 MULTI‑TASK이 0.42, VISUAL이 0.35 정도의 Recall@4를 기록했으며, 섞은 캡션에서는 두 모델 모두 크게 감소한다.

추가 분석에서는 모델이 문장 초반의 토픽, 마침표에 의한 문장 종료, 접속사의 위치 등 구문적 힌트를 학습한다는 정성적 사례를 제시한다. 예를 들어 “kitchen utensils hanging from a board”와 같은 원문에서는 “kitchen”이 수식어가 아니라 주제로 인식되지만, 섞은 문장에서는 “kitchen”이 주제로 오해되는 모습을 보인다.

전체적으로 Imaginet은 시각‑언어 다중 과제 학습을 통해 단어 수준의 의미와 문장 수준의 구조 정보를 동시에 획득한다는 점에서 기존 bag‑of‑words 기반 모델이나 단일 과제 신경망을 능가한다. 향후 연구에서는 텍스트 경로를 문장 재구성이나 패러프레이즈 생성 과제로 확장해, 완전한 문장 의미 표현을 더욱 풍부하게 만들 계획이다. 또한 시각 정보가 부족한 단어에 대한 의미 일반화 방법을 탐구할 예정이다.