깊이와 포즈 기반 라파스틱 간 증강현실 등록

초록

본 논문은 단일 카메라 복강경 영상에서 추출한 깊이 지도와 FoundationPose 기반 6‑DOF 포즈 추정기를 결합해 간의 초기 강체 정합을 수행하고, 이후 비강체 Iterative Closest Point(NICP)와 CMA‑ES 최적화를 이용해 변형을 보정한다. 실제 환자 데이터 3건에서 평균 9.91 mm의 등록 오차를 달성했으며, 전통적인 유한요소 모델을 대체할 경량화된 파이프라인을 제시한다.

상세 분석

이 연구는 복강경 간 수술에서 증강현실(AR) 적용을 위한 3D‑2D 등록 문제를 두 단계로 접근한다. 첫 번째 단계는 기존의 윤곽선 기반 강체 초기화의 한계를 극복하기 위해, 최신 단일 이미지 깊이 추정 모델인 Depth Anything V2를 이용해 상대 깊이 맵을 생성하고, 이를 FoundationPose의 RefineNet 구조에 통합한다. 입력으로는 간 윤곽선, 전체 마스크, 그리고 깊이 맵을 사용하며, 데이터 증강으로 윤곽선 스켈레톤화·확장·삭제, 마스크 형태 변형, 깊이의 사각형 차단·스케일 변환 등을 적용해 도메인 갭을 최소화한다. 손실 함수는 기존 회전·이동 MSE 대신 변환된 3D 표면 간 평균 제곱오차(surface MSE)를 채택해 포즈 오프셋을 직접 학습한다.

두 번째 단계에서는 비강체 변형을 다루기 위해 두 가지 핵심 기술을 도입한다. 첫째, 공개된 간 데이터셋을 이용해 NICP를 적용해 다수의 변형된 간 메쉬를 생성하고, 이들 메쉬에 PCA를 수행해 10개의 주요 변형 모드를 추출한다. 이렇게 얻은 저차원 형태 파라미터는 물리적 유한요소 모델 없이도 현실적인 변형을 표현한다. 둘째, 변형 파라미터와 강체 포즈를 동시에 최적화하기 위해 Hausdorff 거리 기반 가중 손실을 정의하고, 미분 불가능성을 고려해 Gradient‑free CMA‑ES를 사용한다. 탐색 범위는 포즈는 ±20 mm·±10°, 형태 파라미터는