혼합현실 기반 산과 시뮬레이션: 실시간 마니킨 위치추적과 교육 효과

초록

본 논문은 메타 퀘스트와 외부 RGB‑D 카메라를 결합한 혼합현실(MR) 시스템을 제안한다. 마커 기반의 거친 정렬과 점군 등록을 이용해 산모 마니킨과 신생아 머리를 정확히 추적하고, 가상 안내 손을 실시간으로 겹쳐 보여준다. 독립 실행형 헤드셋에서 구현되며, 83명의 의대생을 대상으로 한 대규모 사용자 연구에서 MR 교육이 VR 대비 출산·후처리·전체 수행 점수에서 유의하게 우수함을 확인하였다.

상세 분석

이 연구는 현재 산과 교육에서 실습 기회가 급격히 감소하고 있다는 문제점을 인식하고, 물리적 마니킨의 촉각 피드백을 유지하면서 가상 가이드를 제공하는 혼합현실(MR) 접근법을 설계하였다. 핵심 기술은 세 가지로 요약된다. 첫째, 상용 HMD인 Meta Quest에 외부 RGB‑D 카메라를 부착하고, ‘eye‑to‑hand’ 방식으로 공간 보정을 수행해 카메라와 헤드셋 좌표계를 정밀히 정렬한다. 이는 기존 Quest의 제한된 카메라 인터페이스를 극복하고, 실시간으로 깊이 정보를 확보함으로써 물리 객체와 가상의 정확한 겹침을 가능하게 한다. 둘째, ‘coarse‑to‑fine’ 위치추적 파이프라인을 도입하였다. 산모 마니킨에는 다중 평면 마커를 부착해 T_FM(마커‑마니킨) 변환을 미리 정의하고, 카메라에서 마커를 검출해 T_CF(t)를 실시간으로 얻는다. 이를 통해 T_HM(t)=T_HC·T_CF(t)·T_FM 로 헤드셋 좌표계에서 마니킨의 6‑DoF 자세를 계산한다. 셋째, 신생아 머리는 실리콘 재질로 변형이 심해 마커 부착이 불가능하므로, 사전 스캔된 점군 모델과 실시간 깊이 데이터 간의 ICP(Iterative Closest Point) 정합을 수행한다. 초기 정합은 산모 마니킨이 정의한 ‘delivery region of interest(ROI)’ 안에서 수행되어, 작은 오차 범위 내에서 빠른 수렴이 가능하다. 이러한 두 단계 정밀 정렬은 가상 안내 손이 물리 마니킨 위에 해부학적으로 정확히 위치하도록 보장한다. 시스템은 모든 연산을 HMD 내부 GPU에서 처리해 외부 서버 의존성을 없앴으며, 배터리 수명과 지연 시간을 최소화하였다. 실험에서는 정적 및 동적 상황에서 평균 위치 오차가 3 mm 이하로 측정되었고, 트래킹 안정성도 95 % 이상의 프레임에서 유지되었다. 교육 효과 검증을 위해 83명의 4학년 의대생을 MR 그룹과 VR 그룹으로 나누어 동일한 하드웨어(Quest)에서 비교 실험을 진행하였다. 네 명의 산부인과 전문의가 사전 정의된 평가 항목(출산 단계, 후처리, 전체 수행)으로 채점했으며, MR 그룹은 모든 항목에서 평균 12 %~18 % 높은 점수를 기록했다. 또한 설문 결과 MR이 몰입감, 피드백 실감, 학습 동기 부여 측면에서 VR보다 현저히 선호된 것으로 나타났다. 이 논문은 MR 기반 교육이 촉각 피드백과 시각적 가이드를 동시에 제공함으로써, 기존 VR의 한계를 극복하고 실습 중심 교육의 확장성을 확보한다는 점에서 의학 교육 기술 분야에 중요한 기여를 한다. 다만, 현재는 정상 분만 시나리오에만 적용되었으며, 복합 합병증이나 비정상 상황에 대한 확장성, 마커와 점군 정합의 장기 내구성 등에 대한 추가 연구가 필요하다.