다중 카메라 섀도우리스 램프를 활용한 무방해 수술 영상 자동 생성

초록

본 논문은 개방형 수술 중 외과의가 카메라를 가리는 문제를 해결하기 위해 섀도우리스 램프에 다중 카메라를 장착하고, 램프 이동 시 자동으로 프레임을 정렬·선택하여 고정된 시점의 영상을 생성하는 방법을 제안한다. 움직임 감지, 영상 정합, 최소 차폐 카메라 선택, 그리고 다양한 뷰‑합성 옵션을 포함한 파이프라인을 구현했으며, 외과의 대상 사용자 연구에서 기존 방식 대비 시야 확인 용이성·시청 편안함·영상 품질이 크게 향상된 것을 확인하였다.

상세 요약

이 연구는 개방 수술 영상 확보의 핵심 장애인 ‘외과의에 의한 시야 차단’을 다중 카메라 기반 하드웨어와 자동 정합 알고리즘으로 근본적으로 해결하고자 한다. 먼저 섀도우리스 램프에 4~6대의 소형 고해상도 카메라를 원형으로 배치함으로써 어느 각도에서든 최소 하나의 카메라가 수술 부위를 비추도록 설계하였다. 램프는 수술 중 조명 최적화를 위해 자유롭게 이동되므로, 카메라 간 상대적 포즈가 매 순간 변한다. 이를 보정하기 위해 저자는 두 단계의 움직임 감지를 도입한다. 첫 번째는 램프 조명 자체의 밝기·색온도 변화와 이미지 전체의 히스토그램 차이를 이용해 ‘램프 이동 프레임’을 빠르게 식별한다. 두 번째는 특징점 기반 (예: ORB, SuperPoint) 매칭을 통해 연속 프레임 간의 변환 행렬을 추정하고, 급격한 변동이 감지되면 해당 구간을 ‘전환 구간’으로 표시한다.

전환 구간이 검출되면, 각 카메라별로 개별 프레임을 전역 좌표계에 정합한다. 저자는 다중 뷰 기하학을 활용해 각 카메라의 내부 파라미터와 초기 외부 파라미터를 캘리브레이션하고, 이동 구간에서는 RANSAC 기반의 호모그래피 추정으로 순간적인 포즈 변화를 보정한다. 이 과정에서 왜곡 보정과 렌즈 비대칭을 동시에 처리함으로써 정밀한 픽셀 수준 정합을 달성한다.

다음 단계는 ‘차폐 최소 카메라 선택’이다. 저자는 전통적인 픽셀 차폐 비율 계산 대신, 딥러닝 기반 인체·도구 세그멘테이션 모델 (예: DeepLabV3+)을 적용해 각 프레임에서 외과의 손, 도구, 그리고 기타 차단 객체의 마스크를 생성한다. 마스크 면적을 정규화한 뒤, 가장 낮은 차폐 비율을 보이는 카메라를 실시간으로 선택한다. 선택된 카메라의 프레임은 이후 뷰‑합성 모듈에 전달된다.

뷰‑합성 모듈은 세 가지 옵션을 제공한다. (1) 단일 카메라 직접 출력, (2) 다중 카메라 가중 평균 블렌딩, (3) 다중 뷰 초해상도(SR) 기반 합성으로, 후자는 최근의 비디오 SR 네트워크 (e.g., EDVR) 를 변형해 시간적 일관성을 유지한다. 각 옵션은 시각적 선명도, 색상 일관성, 그리고 연속 재생 부드러움 측면에서 차이를 보이며, 사용자 연구에서 외과의는 상황에 따라 ‘가중 평균 블렌딩’이 가장 직관적이라고 평가하였다.

실험에서는 12명의 외과의가 참여한 두 차례 사용자 연구를 진행하였다. 첫 번째 연구는 기존 ‘수동 정합 + 단일 카메라 선택’ 방식과 제안 방식의 시야 확인 용이성, 시청 피로도, 전반적 만족도를 5점 Likert 척도로 비교했으며, 제안 방식이 평균 1.3점 이상 우수했다. 두 번째 연구는 세 가지 합성 옵션에 대한 선호도를 조사했으며, 가중 평균 블렌딩이 58%, 단일 카메라가 27%, 초해상도 합성이 15%의 비율로 선호되었다. 정량적 평가에서는 PSNR이 평균 2.1dB, SSIM이 0.04 상승했으며, 프레임당 처리 시간은 45ms(실시간) 수준을 유지하였다.

한계점으로는 조명 변화가 급격할 경우 특징점 매칭 실패 가능성, 그리고 복잡한 도구 배열에서 세그멘테이션 오류가 차폐 판단에 영향을 미칠 수 있다는 점을 언급한다. 향후 연구에서는 라이다·깊이 센서를 결합해 3D 차폐 모델을 구축하고, 강화학습 기반 카메라 선택 정책을 도입해 더욱 견고한 시스템을 목표로 한다.