자연스러운 파노라마를 위한 구조 보존 이미지 스티칭

초록

SENA는 계층적 어파인 변환과 자유 형태 변형을 결합해 전역·전국적인 정렬을 수행하고, 시차가 최소화된 ‘적합 구역’을 자동 검출해 앵커 기반 절단선으로 이미지 쌍을 정확히 매핑한다. 이를 통해 깊이 변화와 시차가 큰 실세계 장면에서도 형태 왜곡·중복·유령 현상을 크게 감소시키면서도 기존 호모그래피 기반 방법과 동등한 정렬 정확도를 달성한다.

상세 분석

본 논문은 기존 호모그래피 기반 스티칭이 평면 가정에 의존해 깊이 변화가 큰 장면에서 발생하는 구조 왜곡을 근본적으로 해결하고자 한다. 핵심 아이디어는 ‘계층적 어파인 기반 워핑 전략’이다. 먼저 전역 어파인 변환을 초기화 단계에서 적용해 전체 이미지의 스케일·회전·전단을 보정한다. 이는 호모그래피가 제공하는 8자유도 변환보다 파라미터가 적어 과적합 위험을 낮추면서도 큰 변형을 충분히 표현한다. 이후 로컬 어파인 정제 단계에서 이미지 전체를 격자 형태의 셀로 분할하고, 각 셀마다 RANSAC‑필터링된 특징점 매칭을 이용해 독립적인 어파인 파라미터를 추정한다. 이때 셀 간 파라미터 차이를 최소화하도록 스무딩 제약을 도입해 연속성을 보장한다. 마지막 자유 형태 변형(F‑FFD) 단계에서는 B‑스플라인 기반 변형 함수를 적용해 미세한 비선형 왜곡을 보정한다. 이 3단계 구조는 전역·전국·미세 변형을 순차적으로 처리함으로써 ‘형태 보존(Shape Preservation)’과 ‘평행성 유지(Parallelism)’를 동시에 달성한다.

두 번째 기여는 ‘기하학 기반 적합 구역 검출’이다. 기존 방법들은 의미론적 세그멘테이션에 의존해 시차가 적은 영역을 찾았지만, 이는 추가 라벨링 비용과 오류 전파 위험을 내포한다. SENA는 RANSAC‑필터링 후 남은 매칭들의 시차 일관성을 정량화해, 시차 편차가 일정 임계값 이하인 영역을 자동으로 적합 구역으로 정의한다. 이 과정은 전적으로 기하학적 정보에 기반하므로, 복잡한 장면에서도 신뢰성 있게 적합 구역을 추출한다.

세 번째 핵심은 ‘앵커 기반 절단선(Seamline) 생성 및 일대일 대응 보장’이다. 적합 구역 내에서 고밀도 매칭을 앵커 포인트로 선정하고, 이들 사이에 최소 비용 절단선을 계산한다. 절단선은 적합 구역 경계와 일치하도록 강제되며, 절단선 양쪽 이미지에 동일한 앵커 매핑을 적용해 일대일 기하학적 대응을 보장한다. 결과적으로 겹침 영역에서 발생하던 고스트(ghosting), 복제(duplication), 스미어링(smirring) 현상이 사라진다.

실험에서는 파노라마 데이터셋(실내·실외, 이중 카메라, 깊이 변화 큰 장면)에서 정량적 정렬 오차는 기존 최첨단 호모그래피 기반 방법과 동등하거나 약간 우수했다. 그러나 형태 보존 지표(직선 유지, 비율 보전)와 텍스처 무결성 지표에서는 평균 15%~25% 향상을 기록했다. 주관적 시각 평가에서도 ‘자연스러움’ 점수가 현저히 높았다. 전체 파이프라인은 GPU 가속을 활용해 실시간 수준(30fps 이하)으로 처리 가능하므로, 모바일·AR 등 실시간 응용에도 적용 가능하다.

이러한 설계는 ‘전역·전국·미세 변형을 계층적으로 분리’, ‘기하학 기반 적합 구역 자동 검출’, ‘앵커 기반 일대일 매핑’이라는 세 축을 통해 기존 호모그래피 한계에 대한 근본적 대안을 제시한다는 점에서 학술적·산업적 의의가 크다.