캘리브레이션된 카메라 간 국소 어파인 변환의 통합 공식

초록

본 기술 노트는 두 개의 캘리브레이션된 카메라 뷰 간에 국소 이미지 패치를 매핑하는 어파인 변환에 대한 폐쇄형 표현식을 유도합니다. 이 변환이 상대적인 카메라 포즈, 이미지 좌표, 그리고 국소 표면 법선의 함수임을 보여주며, 회전, 이동, 표면 기하구조가 이미지 왜곡에 어떻게 기여하는지에 대한 명확한 기하학적 해석을 제공합니다.

상세 분석

이 논문은 컴퓨터 비전의 근본적인 문제 중 하나인, 서로 다른 시점에서 관찰된 국소 이미지 패치 간의 기하학적 관계를 수학적으로 명확히 규명한 중요한 연구입니다. 핵심 기여는 호모그래피 행렬로부터 유도된 어파인 변환 행렬 A에 대한 통합된 폐쇄형 공식(식 5)을 제시한 점에 있습니다. 이 공식은 단순한 결과 제시를 넘어, 변환을 세 개의 2x2 행렬 합으로 분해함으로써 깊은 기하학적 통찰을 제공합니다.

첫 번째 항은 회전 행렬 R의 왼쪽 상단 2x2 블록으로, 카메라 방향 변화에 의한 순수 회전 효과를 나타냅니다. 두 번째 항은 두 번째 이미지의 좌표(u2, v2)와 회전 행렬의 세 번째 행 벡터의 외적으로, 시점 변화에 따른 원근 효과(perspective distortion)를 포착합니다. 가장 흥미로운 세 번째 항은 평면의 법선 벡터(n)와 상대적 카메라 이동(t) 및 깊이 정보(d)가 결합된 형태입니다. 이 항은 국소 표면의 방향(법선)이 이미지 간 패치 변형에 미치는 결정적인 영향을 수치화합니다. 분모 s는 법선 벡터의 모든 요소와 첫 번째 뷰의 좌표에 의존하므로, 표면의 3차원 방향 전체가 최종 변형에 영향을 줌을 보여줍니다.

이러한 분해는 복잡한 3D-2D 투영 관계를 구성 요소별로 이해할 수 있게 하여, 다양한 특수 상황(예: 순수 이동, 순수 회전, 평면 운동)에서의 변환식을 쉽게 유도할 수 있는 “부모 방정식"의 역할을 합니다. 논문에서 검증한 표준 스테레오 설정(R=I, t=