UniHash: 포인트와 페어 해싱을 하나로

초록

UniHash는 포인트와 페어 두 해싱 패러다임을 동시에 학습하는 이중‑브랜치 구조를 제안한다. 하나는 클래스 중심을 이용한 점별 손실, 다른 하나는 쌍별 관계 손실을 적용한다. 상호 학습 손실과 Split‑Merge Mixture of Hash Experts(SM‑MoH) 모듈을 통해 두 브랜치가 서로의 정보를 교환하도록 설계했으며, 이론적 분석과 CIFAR‑10, MS‑COCO, ImageNet 실험을 통해 본 방법이 기존 방법보다 보지 못한( unseen) 카테고리와 기존( seen) 카테고리 모두에서 우수한 검색 성능을 달성함을 입증한다.

상세 분석

UniHash의 핵심 아이디어는 점별(센터 기반) 학습과 쌍별(관계 기반) 학습을 병렬로 수행하면서, 두 흐름 사이에 지속적인 지식 교환을 구현하는 것이다. 점별 브랜치는 각 클래스마다 이진 해시 센터 h_c를 학습하고, 샘플 u_c와 센터 간 코사인 유사도를 최대화하는 교차 엔트로피 손실 L_C를 사용한다. 이는 같은 클래스 내 샘플을 하나의 중심에 모아 intra‑class compactness를 강화하지만, 사전 정의된 센터에 과도하게 의존해 unseen 클래스에 대한 일반화가 제한된다. 반면 쌍별 브랜치는 샘플 간 유사도 행렬 S_ij를 기반으로, 내적 I_ij를 이용한 로그‑시그모이드 손실 L_P를 적용한다. 이 손실은 유사한 샘플을 가깝게, 비유사 샘플을 멀리 배치함으로써 데이터의 지역 구조를 보존하고, 새로운 카테고리에서도 의미 있는 해시를 생성한다.

두 브랜치를 연결하는 상호 학습 손실 L_M은 cos(u_c, u_p) 를 최소화하는 형태로, 매 epoch마다 한 브랜치를 detach하여 다른 브랜치의 출력을 목표로 삼는다. 이렇게 하면 양방향으로 정보가 흐르면서 각 브랜치가 상대방의 강점을 흡수한다. 특히 점별 브랜치는 쌍별 브랜치가 제공하는 관계 정보를 통해 센터가 놓칠 수 있는 미세 구조를 학습하고, 쌍별 브랜치는 점별 브랜치가 만든 클래스 중심을 통해 전역적인 의미 일관성을 얻는다.

SM‑MoH 모듈은 기존 MoE의 “split‑merge” 아이디어를 해시 학습에 맞게 변형한 것이다. 두 개의 독립적인 게이팅 네트워크 G_c, G_p가 각각 입력 피처 v에 대해 상위 k 개의 전문가 E_i를 선택하고, 선택된 전문가들의 출력을 가중합해 브랜치‑별 해시 벡터 u_s를 만든다. 전문가들은 경량 NN으로 구현돼 직접 R^q 공간에 매핑되며, 공유 전문가 풀을 사용함으로써 두 브랜치가 동일한 변환 함수를 공유하게 된다. 이 설계는 (1) 각 브랜치가 자신에게 특화된 전문가를 활용해 개별적인 학습 신호를 받게 하고, (2) 공유 전문가를 통해 두 브랜치 간 표현 일관성을 강제함으로써 교차‑정합성을 높인다.

이론적 분석에서는 (i) 피처 추출기와 전문가가 유한한 리프시츠(Lipschitz) 상수를 갖는다고 가정해 복합 복잡도 C_stat = O(q k log m · n) 을 도출하고, (ii) 해시 센터 간 최소 해밍 거리 d 와 데이터가 의미적 매니폴드 M에 존재한다는 가정 하에 양자화 오차 C_quant 이 exp(−Ω(q)) 로 급격히 감소함을 보인다. 마지막으로 상호 학습에 의해 두 브랜치 간 평균 코사인 차이가 ε 으로 수렴하면, 기존 단일‑브랜치에서 발생하던 구조적 불일치 δ 를 δ − ε 로 감소시켜 궁극적으로 불일치를 소멸시킨다.

실험 결과는 CIFAR‑10, MS‑COCO, ImageNet 세 데이터셋에서 seen‑category mAP와 unseen‑category mAP 모두에서 기존 최첨단 점별·쌍별 방법들을 크게 앞선다. 특히 코드 길이 q 가 48비트 이하일 때도 안정적인 성능을 유지하며, SM‑MoH를 사용하지 않은 베이스라인 대비 평균 3‑5 % 의 mAP 향상을 기록한다. 하이퍼파라미터 λ_1, λ_2, λ_3 에 대한 민감도 분석에서도 제안된 기본값(4, 1, 1)이 대부분의 설정에서 최적에 가깝다는 것을 확인한다.

요약하면, UniHash는 점별과 쌍별 해싱의 장점을 동시에 활용하면서, 상호 학습과 전문가 기반 라우팅을 통해 두 흐름을 효과적으로 결합한다. 이는 기존 방법이 겪던 “seen‑vs‑unseen” 성능 트레이드오프를 크게 완화하고, 실시간 대규모 이미지 검색 시스템에 적용 가능한 고성능 해시를 제공한다.