읽고‑쓰는 메모리 네트워크로 영화 스토리 이해하기

초록

본 논문은 영화의 장시간·다중모달 데이터를 효율적으로 처리하기 위해 읽기·쓰기 전용 컨볼루션 레이어를 도입한 Read‑Write Memory Network(RWMN)를 제안한다. 메모리 슬롯을 독립적으로 다루는 기존 방식과 달리, 인접 슬롯을 청크 단위로 읽고 쓰는 구조를 통해 스토리의 연속성을 포착한다. MovieQA의 여섯 가지 태스크에 적용했을 때 특히 비주얼 QA에서 최고 성능을 기록하였다.

상세 분석

RWMN은 영화 이해라는 특수한 QA 문제를 해결하기 위해 메모리 접근 방식을 근본적으로 재설계하였다. 기존 메모리 네트워크는 컨텐츠 기반 어드레싱을 사용해 각 메모리 셀을 독립적으로 조회했지만, 이는 장시간 시퀀스에서 발생하는 시간적·맥락적 연관성을 충분히 활용하지 못한다. RWMN은 ‘읽기 네트워크’와 ‘쓰기 네트워크’라는 두 개의 CNN 모듈을 도입해 메모리 셀을 연속적인 청크로 묶는다. 쓰기 단계에서는 영화의 서브샷‑자막 쌍을 4,096 차원의 멀티모달 임베딩(E)으로 변환한 뒤, 1‑D 컨볼루션(세로 필터 40, 스트라이드 30)을 적용해 인접 40개의 임베딩을 하나의 메모리 슬롯에 압축한다. 이 과정은 인간이 사건을 ‘에피소드’ 단위로 기억하는 방식과 유사하며, 메모리의 차원을 d(보통 256~512)로 축소해 이후 연산 비용을 크게 낮춘다.

읽기 단계에서는 질문 벡터(u)를 동일한 차원으로 투영한 뒤, 각 메모리 셀과 CBP(Compact Bilinear Pooling)를 수행해 질문 의존적 메모리 M_q를 만든다. 이어서 또 다른 1‑D 컨볼루션(세로 필터 3, 스트라이드 1)을 적용해 M_q를 재구성하고, 최종적으로 소프트맥스 기반 어텐션을 통해 질문과 가장 관련된 메모리 청크를 가중합한다. 이렇게 얻은 출력 o와 질문 벡터 u를 가중 평균(α)한 뒤, 정답 후보의 임베딩과 내적해 신뢰도 점수 z를 산출한다.

핵심 혁신은 두 가지이다. 첫째, 메모리 셀을 청크 단위로 처리함으로써 장시간 의존성을 효과적으로 학습한다는 점이다. 둘째, 읽기·쓰기 모두에 CNN을 사용해 파라미터 공유와 연산 효율성을 동시에 달성한다. 실험에서는 ν_w와 ν_r(컨볼루션 레이어 수)을 조절한 어블레이션을 통해 2~3개의 레이어가 최적임을 확인했으며, α 파라미터를 학습함으로써 질문과 정답 사이의 상대적 중요도를 자동으로 조절한다.

비교 대상인 End‑to‑End Memory Network와 Key‑Value Memory Network에 비해 RWMN은 특히 비주얼 QA(Task 2)에서 4.2%p 이상의 정확도 향상을 보였고, 전체 6개 태스크 중 4개에서 최고 성능을 기록했다. 다만, 메모리 크기가 입력 길이에 비례해 선형 증가하므로 매우 긴 영화(>3시간)에서는 메모리 압축 비율과 CNN 스트라이드 설정이 성능에 큰 영향을 미친다. 또한, 현재는 ResNet‑152와 Word2Vec에 의존하는 고정된 피처 추출기에 기반하고 있어, 최신 트랜스포머 기반 멀티모달 인코더와 결합하면 추가적인 성능 향상이 기대된다.