품질 인식형 쿼리 적응 컨볼루션을 활용한 옷 교체 인식 강화

초록

본 논문은 옷이 바뀌는 상황에서도 사람의 신원을 정확히 식별하기 위해 RGB 이미지와 인간 파싱 정보를 병렬로 추출하고, 다중 모달 주의 메커니즘으로 융합한 뒤, 픽셀 수준의 품질 가중치와 양방향 일치 제약을 적용한 QAConv‑QA 매칭 모듈을 도입한다. PRCC, LTCC, VC‑Clothes 등 세 데이터셋에서 최첨단 성능을 달성하였다.

상세 분석

QA‑ReID는 옷 교체(Person Re‑ID) 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합한다. 첫 번째는 이중‑브랜치 구조로, 하나의 브랜치는 원본 RGB 이미지를 그대로 사용해 전반적인 외관 특징을 추출하고, 다른 브랜치는 인간 파싱 네트워크를 통해 얻은 마스크를 적용해 옷에 무관한 신체 구조 정보를 강조한다. 두 브랜치 모두 ResNet‑50의 3단계 이후 특징 맵(C × H × W)을 출력한다.

두 번째는 **다중 모달 주의 융합(Multi‑Modal Attention Fusion)**이다. RGB와 파싱 특징을 채널·공간 차원에서 각각 어텐션을 계산하고, 이를 곱해 최종 어텐션 맵 ω를 만든 뒤, ω와 (1‑ω)를 가중치로 사용해 두 특징을 선형 결합한다(F_mix). 최종 특징 F는 RGB, 파싱, 융합 세 부분을 모두 합산하고 1×1 컨볼루션으로 압축해 품질‑인식형 매칭에 적합하도록 정제한다.

매칭 단계에서는 기존 QA‑Conv을 확장한 QAConv‑QA를 적용한다. 여기서는 각 픽셀에 품질 가중치 Q를 부여해 신체 핵심 부위(머리, 팔, 다리 등)의 중요도를 높인다. Q는 파싱 마스크와 공간 보간을 통해 계산되며, 소프트맥스 정규화를 거쳐 정규화된다. 이후 두 이미지의 픽셀 쌍에 대해 가중 코사인 유사도 sim₁을 구하고, 이를 기반으로 양방향 매칭(Bidirectional Matching) 확률 sim₂를 정의한다. 즉, 한 픽셀이 다른 픽셀에 매핑될 확률과 그 역방향 확률을 곱해 일관성을 강제한다. 최종 이미지‑레벨 유사도는 양방향 전역 최대 풀링(Bi‑GMP) 후 배치 정규화, MLP, 시그모드 레이어를 거쳐 출력된다.

손실 함수는 다중 과제 손실을 채택한다. RGB와 파싱 브랜치 각각에 교차 엔트로피 기반 분류 손실과 트리플렛 손실을 적용해 정체성 특징을 강화하고, 매칭 단계에는 쌍별 이진 교차 엔트로피 손실(L_match)을 추가한다. 전체 손실 L = (L_rgb_cls + L_par_cls) + (L_rgb_tri + L_par_tri) + L_match 형태로 공동 최적화한다.

실험에서는 PRCC, LTCC, VC‑Clothes 세 벤치마크에서 기존 최첨단 방법들을 크게 앞섰다. 특히 옷이 바뀐 경우 Top‑1 정확도와 mAP에서 각각 64.1 %/61.2 %, 42.9 %/41.2 % 등 눈에 띄는 향상을 보였다. Ablation 연구는 (1) 파싱 브랜치 도입, (2) 융합 어텐션, (3) QAConv‑QA 모듈이 각각 성능에 기여함을 확인했으며, 픽셀 가중치와 양방향 매칭을 동시에 사용할 때 가장 큰 상승을 얻었다. 시각화 결과는 기존 방법이 옷 색에 집중하는 반면, QA‑ReID는 머리·얼굴·팔 등 신체 고유 부위에 주목함을 보여준다.

이러한 설계는 옷 교체 상황에서도 구조적·생체학적 신호를 효과적으로 활용함으로써, 기존 외관‑중심 접근법의 한계를 극복한다. 다만 파싱 정확도에 의존하는 만큼, 파싱 오류가 심한 경우 성능 저하가 우려되며, 현재는 ResNet‑50 기반으로 구현돼 실시간 적용에는 연산량 최적화가 필요하다. 향후 경량화 모델 및 텍스트·음성 등 다른 모달과의 교차 융합 연구가 기대된다.