객체 카운트와 위치 정보가 이미지 캡셔닝을 어떻게 강화하는가

초록

본 논문은 이미지 캡셔닝에서 전통적인 객체 검출 단계의 가치를 재조명한다. 80개의 COCO 카테고리를 이용한 ‘bag‑of‑objects’ 표현을 이미지 특징으로 사용하고, 객체의 빈도, 크기, 중심 거리 등 다양한 공간적 단서를 결합해 LSTM 기반 캡션 생성기에 입력한다. 실험 결과, 단순 빈도 카운트만으로도 CNN 임베딩과 동등하거나 더 높은 CIDEr 점수를 얻으며, 객체 크기와 위치 정보가 추가될 때 성능이 더욱 향상된다. 또한 카테고리별 기여도를 분석해 일부 객체가 캡션에 더 크게 영향을 미침을 확인한다.

상세 분석

이 연구는 최근 이미지 캡셔닝 분야에서 주류를 이루는 end‑to‑end 방식이 “이미지 전체 임베딩”에만 의존한다는 한계를 지적하고, 명시적 객체 검출 정보를 재활용함으로써 모델의 해석 가능성을 높이고자 한다. 저자들은 먼저 COCO 데이터셋의 80개 사전 정의된 객체 카테고리를 기반으로 한 80‑차원 벡터를 구성한다. 각 차원은 해당 카테고리의 객체 수(빈도), 정규화된 비율, 혹은 존재 여부(이진화) 중 하나로 표현될 수 있다. 이러한 ‘bag‑of‑objects’는 차원이 작고 매우 희소하지만, 실험에서는 CNN‑POOL5 임베딩보다 높은 CIDEr 점수를 기록한다. 이는 캡션 생성에 있어 “무엇이 이미지에 존재하는가”라는 정보가 핵심임을 시사한다.

다음 단계에서는 공간적 특성을 추가한다. 객체의 바운딩 박스 면적을 이미지 전체 면적으로 정규화한 ‘크기’와, 바운딩 박스 중심과 이미지 중심 사이의 유클리드 거리를 정규화한 ‘거리’를 각각 최대값(또는 최소값)으로 추출한다. 크기와 거리 정보를 각각 혹은 결합하여 입력하면, 빈도만 사용할 때보다 평균 2~4% 정도 CIDEr 점수가 상승한다. 특히 ‘크기’는 객체가 시각적으로 강조되는 정도와 직접 연관되어 있어, 캡션에 “큰 사람”, “작은 개”와 같은 표현이 자연스럽게 생성되도록 돕는다.

카테고리 기여도 분석에서는, 빈도 기반 벡터에서 특정 카테고리를 임의로 제거하거나, 가장 빈번한/가장 큰/가장 중심에 가까운 카테고리만 남기는 실험을 수행한다. 결과는 ‘사람’, ‘자전거’, ‘벤치’ 등 핵심 객체가 제거될 경우 성능이 급격히 떨어지는 반면, 드물게 언급되는 ‘스푼’, ‘바나나’ 등은 큰 영향을 미치지 않음을 보여준다. 이는 캡션이 실제로 이미지에 나타난 객체 중 의미적으로 중요한 것에 초점을 맞춘다는 기존 연구와 일치한다.

또한, 실제 검출기(YOLO‑v3 기반)와 GT(ground‑truth) 어노테이션을 비교했을 때, 검출 오류가 성능 저하의 주요 원인임을 확인한다. 검출기가 놓친 객체는 빈도 카운트를 0으로 만들고, 이는 “사람이 없는” 혹은 “자전거가 없는” 잘못된 상황을 초래한다. 따라서 고성능 객체 검출기의 도입이 전체 시스템 성능을 한층 끌어올릴 수 있다.

모델 아키텍처는 Karpathy‑Fei‑Fei(2015) 스타일의 2‑layer LSTM을 사용하고, 이미지 벡터는 선형 변환 후 ELU 활성화로 차원을 256으로 맞춘 뒤 LSTM 초기 상태에 주입한다. 학습은 교사 강제(teacher forcing) 방식으로 교차 엔트로피 손실을 최소화하고, 추론은 greedy decoding을 사용해 변수를 최소화한다. 하이퍼파라미터와 추가 실험 결과는 부록에 상세히 기술되어 있다.

전체적으로 이 논문은 “객체 카운트와 위치 정보”라는 간단하면서도 해석 가능한 특징이 이미지 캡셔닝에 충분히 강력함을 입증한다. 이는 복잡한 CNN‑기반 특징 추출을 대체하거나 보완할 수 있는 경량화된 대안으로, 특히 제한된 연산 자원이나 실시간 시스템에 유용할 것으로 기대된다.