모바일 VR에서 고품질 의료 영상 슬라이싱을 위한 ClipGS‑VR

초록

ClipGS‑VR는 기존 ClipGS의 신경망 기반 슬라이싱을 사전 계산된 3D 가우시안 포인트 클라우드로 변환하고, 메모리와 연산을 크게 절감한다. 임의 각도의 절단면을 지원하기 위해 거리 기반 투명도 조절을 적용해 부드러운 절단 효과를 제공하며, Meta Quest 3 같은 모바일 VR 헤드셋에서도 실시간 인터랙티브 렌더링을 구현한다.

상세 분석

본 논문은 고해상도 의료용 볼륨 데이터를 모바일 가상현실 환경에서 실시간으로 시각화하기 위한 두 가지 핵심 기술적 기여를 제시한다. 첫 번째는 ClipGS의 신경망 추론을 런타임에서 제거하고, 200개의 절단 평면 상태를 사전 계산해 각 상태별 최적화된 Learnable Truncation(LT)과 Adaptive Adjustment Model(AAM) 출력을 가우시안 속성에 직접 베이킹(baking)함으로써, 기존 6 GB 수준의 VRAM 요구량을 40 MB 수준으로 대폭 축소한 점이다. 여기서 중요한 최적화는 구면조화 계수를 전역 공유 배열로 분리하고, 인접 절단 상태 간 중복되는 프리미티브를 최소화해 차등 저장한 압축 전략이다. 두 번째 기여는 임의 각도 절단을 위한 그래디언트 기반 투명도 조절이다. 기존 ClipGS는 단일 축 절단만 지원했으며, 절단면을 기준으로 프리미티브를 이진 가시성 테스트로 처리해 경계에서 계단 현상이 발생했다. 저자는 각 가우시안 중심 μ와 절단면 법선 n 사이의 부호 거리와 가우시안 반경 sₙ을 이용해 σ = clamp(½ + (μ·n − c)/(2 sₙ), 0, 1) 를 계산하고, 원래 불투명도 α에 곱해 α′ = α·σ 로 보정한다. 이 방식은 가우시안이 절단면을 관통할 때 점진적으로 투명해지게 하여 부드러운 안티앨리어싱 효과를 제공한다. 구현 측면에서는 Mixed Reality Toolkit 3(MRTK3)를 활용해 6‑DoF 절단 평면을 VR 컨트롤러로 직접 조작하도록 설계했으며, 실시간으로 평면 변환 행렬을 셰이더에 전달한다. 성능 평가는 Meta Quest 3 헤드셋에서 수행됐으며, PSNR 33.40 dB, SSIM 0.9698이라는 높은 정량적 품질을 유지하면서 프레임 레이트는 모바일 수준을 만족한다. 사용자 연구에서는 SUS 점수와 인터랙션 효율성 모두에서 기존 일축 절단보다 유의미하게 우수함을 확인했다. 전체적으로 이 논문은 고품질 의료 시각화를 위한 신경망 기반 렌더링을 모바일 환경에 맞게 경량화하고, 자유로운 절단 인터랙션을 구현한 실용적인 시스템을 제시한다. 다만 사전 계산 단계가 데이터마다 수시간 소요될 수 있다는 점과, 현재는 정적 볼륨에만 적용 가능하다는 제한점이 남아 있다. 향후 실시간 변형 및 동적 시뮬레이션을 위한 온라인 업데이트 메커니즘이 필요할 것이다.