하이브리드 초점 경로추적과 주변 가우시안 스플래팅을 이용한 몰입형 해부학 시각화

초록

본 논문은 의료용 3D 볼륨 데이터를 실시간 VR 환경에서 고품질로 보여주기 위해, 사용자의 초점 영역에는 스트리밍 기반 경로추적을, 주변 시야에는 빠르게 생성·갱신되는 3D 가우시안 스플래팅 모델을 결합한 하이브리드 렌더링 파이프라인을 제안한다. 깊이‑가이드 재투영과 눈동자 추적을 활용해 지연을 마스킹하고, 주변 모델을 1초 이내에 재생성함으로써 기존의 전처리‑중심 방식보다 높은 인터랙티브성을 확보한다.

상세 분석

이 연구는 의료 영상 시각화에서 품질·속도·인터랙티브성 사이의 전통적인 트레이드오프를 근본적으로 재구성한다. 첫 번째 핵심은 초점(포베일) 경로추적이다. 볼류메트릭 경로추적은 광선‑전달과 복잡한 물질 상호작용을 정확히 모델링하지만, VR 수준의 90 Hz·2 K 해상도를 유지하기엔 계산량이 방대하다. 저자들은 이를 사용자의 시선이 집중되는 5°~17° 영역에만 적용하고, 고성능 GPU 서버에서 스트리밍 방식으로 이미지를 제공한다. 이때 눈동자 트래킹 데이터와 헤드 포즈를 실시간으로 받아, 최신 프레임을 빠르게 재구성한다.

두 번째 핵심은 **주변 영역의 3D 가우시안 스플래팅(3DGS)**이다. 기존 3DGS는 대규모 사전 학습과 수분~수십 초의 최적화가 필요했지만, 본 논문은 볼륨 데이터에서 직접 초기 포인트 클라우드를 추출하고, Mini‑Splatting 기법을 변형해 수백 개의 가우시안을 1 초 이내에 생성한다. 이렇게 만든 주변 모델은 저해상도·저프레임 레이트에서도 부드러운 투명도와 깊이 정보를 유지한다.

깊이‑가이드 재투영은 두 렌더링 스트림을 결합하는 핵심 알고리즘이다. 경로추적 이미지에 포함된 깊이 버퍼를 이용해, 이전 프레임의 주변 가우시안을 현재 시점에 맞게 왜곡·보정한다. 이는 뷰포인트가 급격히 변할 때 발생하는 디스오클루전 문제를 완화하고, 렌더링 지연을 50 ms 이하로 억제한다. 또한, 사용자는 품질·프레시 레이트 사이의 가중치를 UI 슬라이더로 조정할 수 있어, 모바일 스탠드얼론 헤드셋에서도 원활한 경험을 제공한다.

시스템 아키텍처는 세 개의 독립 모듈(실시간 VR 뷰어, GPU‑집약 경로추적 서버, 3DGS 학습 서버)로 구성되어, 네트워크 대역폭과 연산 자원을 효율적으로 분산한다. 초기 모델 구축 단계에서는 경로추적이 생성한 다중 뷰 이미지를 3DGS 학습에 투입하고, 인터랙티브 사용 단계에서는 경로추적이 제공하는 최신 초점 이미지를 지속적으로 3DGS 최적화에 피드백한다. 이 순환 구조는 주변 모델이 사용자의 탐색에 따라 점진적으로 품질이 향상되도록 만든다.

실험 결과는 세 가지 기준에서 기존 방법을 능가한다. ① 시각 품질: 초점 영역은 노이즈‑제거된 경로추적 결과와 거의 구분이 안 될 정도이며, 주변은 가우시안 기반이라도 색상·조명 일관성이 유지된다. ② 성능: 전체 파이프라인은 90 Hz 스테레오 렌더링을 달성하면서, 주변 모델 재생성 시간을 0.8 s 이하로 단축한다. ③ 인터랙티비티: 전이 함수 변경, 클리핑 평면 이동 등 실시간 파라미터 조정 시 주변 모델이 즉시 재학습되어, 사용자 체감 지연이 최소화된다.

이 논문은 특히 의료 교육·수술 계획 같은 고품질 3D 해부학 시각화가 요구되는 분야에 적합하다. 기존의 2D 슬라이스 기반 워크플로우와 달리, 사용자는 VR 환경에서 자연스럽게 구조를 탐색하면서도 실시간 파라미터 조정이 가능하다. 또한, 서버‑클라이언트 분산 구조는 병원 내 저사양 워크스테이션에서도 고품질 시각화를 제공할 수 있게 한다.

한계점으로는 눈동자 트래킹 정확도에 크게 의존한다는 점, 그리고 주변 가우시안 수가 제한적이어서 매우 미세한 조직 구조(예: 혈관 미세분지)를 완전히 재현하기는 어렵다는 점을 들 수 있다. 향후 연구에서는 다중 스케일 가우시안 및 신경망 기반 초점‑주변 전이 모델을 도입해 품질을 더욱 끌어올릴 여지가 있다.