스파스 스테레오 매칭을 위한 최적 수송 기반 HOT POT 프레임워크

초록

본 논문은 카메라 기하학의 에피폴라 제약을 최적 수송(OT) 비용으로 변환하여, 희소한 얼굴 랜드마크와 같은 특징점들의 무감독 매칭을 수행한다. 기존의 에피폴라 거리와 새롭게 제안한 3D 레이 거리 두 가지를 비용 함수로 사용하고, 이를 (부분) OT 문제로 정형화해 효율적인 할당 알고리즘을 도출한다. 또한, 객체 수준(얼굴 전체) 매칭을 위해 계층적 OT(HOT)를 설계해 다중 인물 상황에서도 안정적인 매칭을 가능하게 한다. 실험 결과는 RGB‑Thermal 얼굴 이미지에서 서로 다른 랜드마크 체계 간 매칭 정확도가 크게 향상됨을 보여준다.

상세 분석

본 연구는 스테레오 비전에서 희소 특징점 매칭이 직면하는 ‘ill‑posed’ 문제를 최적 수송 이론으로 재구성한다는 점에서 혁신적이다. 먼저 카메라 좌표계를 통일하고, 각 카메라에서 관측된 2D 점을 반직선(half‑line) 형태의 3D 레이로 복원한다. 이때 두 레이 사이의 최소 거리인 3D 레이 거리를 도출했으며, 이는 레이의 교차점이 카메라 앞에 존재할 경우 0이 되고, 교차점이 뒤쪽에 있으면 카메라 간 거리 ‖t‖을 반환하도록 설계돼 실제 관측 가능성을 반영한다. 기존에 널리 쓰이는 에피폴라 거리는 기본적으로 F 행렬을 이용해 한 이미지 점이 다른 이미지의 에피폴라 라인에 얼마나 근접한지를 측정한다. 논문은 양쪽 이미지에 대해 각각 계산한 후 평균을 취해 대칭성을 확보하고, 특수 경우(에피폴라 라인이 사라지는 경우)도 명시적으로 처리한다.

비용 함수가 정의되면, 이를 부분 최적 수송(partial OT) 문제에 매핑한다. 부분 OT는 매칭 가능한 점의 개수가 서로 다를 때(예: 서로 다른 랜드마크 체계) 유연하게 대응할 수 있게 해준다. Sinkhorn‑Kullback‑Leibler 알고리즘이나 네트워크 단순화 기법을 활용해 대규모 할당을 선형 시간에 근사적으로 해결한다.

핵심적인 확장은 **계층적 최적 수송(HOT)**이다. 개별 점 매칭을 먼저 수행한 뒤, 각 객체(얼굴)를 하나의 클러스터로 보고 클러스터 간 매칭을 또 다른 OT 단계에서 수행한다. 이렇게 하면 객체 수준에서의 전역적인 일관성을 보장하면서도, 점 수준에서 발생할 수 있는 잡음·오클루전에 강인한 매칭이 가능해진다.

실험에서는 시뮬레이션 데이터와 실제 RGB‑Thermal 얼굴 이미지 두 가지를 사용했다. 특히 서로 다른 랜드마크 체계(예: 68점 vs 98점)를 가진 경우, 3D 레이 거리 기반 OT가 에피폴라 거리 대비 매칭 정확도가 10~15% 이상 향상되었으며, HOT를 적용했을 때 다중 인물 상황에서도 얼굴 간 매칭 오류가 현저히 감소했다. 또한, 깊이 정규화(ray distance regularization)를 도입해 카메라 파라미터 오차에 대한 민감도를 완화했다.

이 논문의 의의는 세 가지로 정리할 수 있다. 첫째, 카메라 기하학을 OT 비용으로 직접 연결함으로써 전통적인 기하학 기반 매칭과 확률적 매칭을 자연스럽게 결합했다. 둘째, 3D 레이 거리라는 새로운 기하학적 비용을 제안해, 특히 희소하고 잡음이 많은 랜드마크 매칭에 강인성을 부여했다. 셋째, 계층적 OT 프레임워크를 통해 점‑대‑점 매칭을 객체‑대‑객체 매칭으로 확장함으로써 실용적인 얼굴 인식·분석 파이프라인에 바로 적용 가능한 솔루션을 제공한다.