디코: 텍스트‑이미지 인물 재식별을 위한 계층적 개념 분리 슬롯 모델

초록

디코(DiCo)는 이미지와 텍스트 사이의 모달리티 격차를 해소하고, 색상·질감·형태와 같은 미세 속성을 구분하기 위해 공유 슬롯과 그 안의 개념 블록으로 구성된 계층적 표현을 학습한다. 전역, 파트, 개념 수준의 다중 정렬 손실을 통해 전통적인 전역 정렬 한계를 넘어선 정밀 매칭을 구현하며, CUHK‑PEDES·ICFG‑PEDES·RSTPReid에서 최첨단 성능과 해석 가능성을 동시에 달성한다.

상세 분석

디코는 텍스트‑이미지 인물 재식별(TIReID) 문제의 핵심 난제인 ‘모달리티 격차’와 ‘미세 속성 정렬 부재’를 동시에 해결하기 위해 두 단계의 구조적 설계를 도입한다. 첫 번째는 이미지와 텍스트 양쪽에서 동일하게 사용되는 K개의 학습 가능한 슬롯을 공유 앵커로 설정하는 것이다. 각 슬롯은 사람 신체 부위(예: 상체, 하체, 신발)와 같은 파트 수준의 의미를 담으며, 이는 명시적 파트 라벨 없이도 자동으로 학습된다. 두 번째는 슬롯 내부를 M개의 개념 블록으로 분해하는 메커니즘이다. 색상, 질감, 형태 등 서로 독립적인 시각·언어 속성을 각각의 블록에 매핑함으로써, 동일 슬롯 내에서도 속성 간 혼합을 방지한다.

이러한 슬롯‑개념 구조는 ‘Slot‑Concept Attention’이라는 교차‑주의 모듈을 통해 구현된다. 슬롯이 쿼리 역할을 수행하고, 이미지 패치 토큰·텍스트 토큰을 키·밸류로 삼아 다중 헤드 교차‑주의를 반복 적용한다. T번의 반복 후 슬롯은 특정 파트에 집중하고, 내부 블록은 해당 파트 내 세부 속성에 특화된다. 학습 단계에서는 (i) 전역 임베딩(gv, gt) 간의 대조 손실로 전체 정체성 정보를 정렬, (ii) 슬롯 간의 파트‑레벨 대조 손실로 파트 일치성을 강화, (iii) 동일 슬롯 내 블록 간의 개념‑레벨 대조 손실로 색·질감·형태 등 미세 속성을 정밀 매칭한다. 이 다중 수준 손실은 각 레벨의 정렬을 독립적으로 최적화하면서도 상호 보완적으로 작용한다.

디코는 별도의 파트 라벨이나 포즈 추정 없이도 자동으로 파트와 속성을 학습한다는 점에서 기존의 파트‑기반 방법(예: 지역‑단어 정렬)보다 더 일반화 가능하고 해석 가능하다. 실험 결과는 CUHK‑PEDES, ICFG‑PEDES, RSTPReid 세 데이터셋에서 Rank‑1, mAP 등 주요 지표에서 최신 방법들과 동등하거나 우수한 성능을 보이며, 특히 색상·패턴·소재와 같은 세부 속성에 대한 검색 정확도가 크게 향상되었음을 확인한다. 또한 슬롯·블록 수준의 시각화는 텍스트 쿼리와 이미지 간의 대응 관계를 직관적으로 보여주어 모델의 투명성을 높인다.

요약하면, 디코는 (1) 모달리티‑공유 슬롯을 통한 파트‑레벨 정렬, (2) 슬롯 내부 개념 블록을 통한 속성‑레벨 분리, (3) 다중 정렬 손실을 통한 계층적 학습이라는 세 축을 결합함으로써 TIReID 분야에서 정밀도와 해석성을 동시에 달성한 혁신적 프레임워크라 할 수 있다.