지역 밀도 기반 오픈셋 바이오메트릭 스코어링 LocalScore

초록

LocalScore는 갤러리 내 피처들의 k‑최근접 이웃을 이용해 지역 밀도를 측정하고, 이를 기존 유사도 점수에 선택적으로 결합함으로써 다중 샘플 갤러리에서의 개방형(오픈셋) 검증·검색 성능을 크게 향상시키는 플러그‑인 방식의 스코어링 기법이다.

상세 분석

본 논문은 전통적인 바이오메트릭 시스템이 “전역 중심(클래스 센터)”에 의존해 다중 샘플 갤러리의 내부 변동성을 무시함으로써 오픈셋 상황에서 높은 오류율을 보이는 문제점을 지적한다. 특히 얼굴, 보행, 사람 재식별 등 다양한 모달리티에서 동일 인물의 샘플이 서로 다른 조명·포즈·시점에 따라 여러 클러스터를 형성한다는 점을 실험적 예시와 그림 1을 통해 설득력 있게 제시한다.

LocalScore는 이러한 현상을 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, probe q와 갤러리 피처 집합 G 전체에서 k‑번째 가장 높은 유사도(즉, k‑NN 스코어)를 계산한다. 이 값은 probe가 실제로 “밀집된 지역”에 위치하는지를 정량화한다; 진짜 매치일수록 높은 k‑NN 점수를, 임시(비매치)일수록 낮은 점수를 얻게 된다. 둘째, 기존의 per‑subject 점수 s_i와 k‑NN 점수 s_i(k)를 단순 평균이 아니라, 현재 probe에 대해 가장 높은 s_i를 가진 클래스에만 선택적으로 더한다(t = s + i·s(k)). 이렇게 하면 비상위 클래스의 점수가 불필요하게 상승하는 것을 방지해 genuine‑imposter 간 마진을 유지한다.

알고리즘 1의 파이썬식 구현은 매우 간결하며, 모델·손실 함수와 무관하게 사전 학습된 임베딩에 바로 적용할 수 있다. 계산 복잡도는 k‑NN 탐색을 위한 거리 계산 정도에 국한되며, 실제 실험에서는 전체 파이프라인에 1~2 % 수준의 오버헤드만 발생한다.

또한 저자는 메모리·연산 효율성을 위해 각 피험자별 갤러리 피처를 클러스터링해 대표 프로토타입 C_i를 만든다. 이는 원본 피처 수가 많을 때도 k‑NN 검색을 빠르게 수행하게 하면서도 지역 구조를 보존한다.

이론적 분석에서는 점수 분포를 가우시안으로 근사해 LocalScore가 특히 (1) 갤러리 내 intra‑subject 변동이 크고 (2) 비매치 샘플이 희소한 상황에서 성능 향상이 두드러진다는 것을 증명한다. 실험에서는 얼굴(FaceNet, ArcFace), 보행(GaitSet), 사람 재식별(Market‑1501, DukeMTMC‑reID) 등 3가지 모달리티와 ResNet, ViT, Swin 등 4가지 아키텍처, 교차 엔트로피·트리플렛·ArcFace 등 다양한 손실 함수를 조합해 검증하였다. 모든 설정에서 FNIR@FPIR이 53 %→40 %로, TAR@FAR이 51 %→74 %로 크게 개선되었으며, 특히 k 값이 5~15 사이에서 최적 성능을 보였다.

재현성 측면에서 저자는 공개 데이터셋과 코드(파이썬 구현)를 제공하고, Monte‑Carlo 시뮬레이션을 통해 이론적 기대치와 실제 결과가 일치함을 확인한다. 기존의 재‑랭킹 기법과 비교했을 때, LocalScore는 probe 간 상호 의존성을 요구하지 않으면서도 비슷하거나 더 나은 성능을 달성하고, 실시간 시스템에 적합한 낮은 지연 시간을 유지한다.

요약하면, LocalScore는 (1) 지역 밀도 정보를 활용해 기존 전역 중심 기반 스코어링의 한계를 보완하고, (2) 아키텍처·손실 무관한 플러그‑인 형태로 구현되어 실제 배포 환경에 손쉽게 적용 가능하며, (3) 다양한 바이오메트릭 도메인에서 일관된 성능 향상을 입증한 실용적인 방법론이라 할 수 있다.