CT 기반 다중모달 침대 위 환자 3D 자세·형태 추정 혁신

초록

본 논문은 침대에 누워 있는 환자의 3차원 자세와 몸 형태를 정확히 추정하기 위해, 기존의 깊이·RGB·압력 센서만을 이용한 방법의 한계를 극복하고 CT(또는 MRI)에서 얻은 환자 고유의 체적 정보를 깊이 영상과 융합하는 VIM‑PSE 프레임워크를 제안한다. 크로스모달 잔차 융합(CRF) 모듈을 통해 두 모달리티의 특징을 신뢰도 기반으로 보정·보강함으로, 복잡한 드레이프와 베딩에 가려진 부위까지도 정밀하게 복원한다. 대규모 MRI 시뮬레이션 데이터와 실제 CT 기반 팬텀·자원봉사자 실험에서 기존 최첨단 방법 대비 형태 오차 49 %·자세 오차 23 % 향상을 달성하였다.

상세 분석

VIM‑PSE는 환자 개별의 체적 영상을 ‘고정된 형태 앵커’로 활용한다는 점에서 기존 연구와 근본적으로 차별화된다. CT·MRI에서 추출한 피부 표면 포인트 클라우드를 5,000점으로 다운샘플링한 뒤 PointNet++ 로 인코딩하고, 각 포인트에 대해 SMPL 템플릿 정점에 대한 soft‑assignment π와 외부점(outlier) 확률 μ를 예측한다. 이 확률분포를 가우시안 혼합 모델의 likelihood에 삽입해, 베이즈식으로 shape 파라미터 β를 반복적으로 최적화한다(Probabilistic Correspondence Association). 이 과정은 전역적인 형태 정보를 보존하면서도 노이즈와 부분 가려짐에 강인한 β 추정을 가능하게 한다.

포즈 추정은 기존 BodyMap 네트워크를 변형해 깊이 영상만을 입력으로 사용한다. 깊이 맵은 128×54 해상도로 정규화·중간 필터링 후 ResNet‑1 기반 특징 추출기로 전달되고, 이어지는 MLP가 관절 회전 θ와 전역 변위 t를 회귀한다. 여기서 중요한 점은 volumetric 데이터에서 얻은 환자 키·신장 정보를 추가 입력으로 활용해, 깊이 기반 포즈 추정의 스케일 불확실성을 보정한다는 것이다.

두 모달리티의 융합은 Cross‑modal Residual Fusion (CRF) 모듈에서 이루어진다. CRF는 shape 특징과 pose 특징을 각각 confidence weight(예: μ와 depth confidence map)와 곱한 뒤, residual 형태로 서로에게 보정 신호를 전달한다. 즉, 형태 특징이 높은 신뢰도를 가질 때는 pose 특징에 잔차를 더해 자세 추정을 정교화하고, 반대로 깊이 신호가 강할 경우에는 shape 파라미터를 미세 조정한다. 이 설계는 전통적인 단순 concatenation 방식이 갖는 ‘모든 센서 동등 취급’의 문제를 극복하고, 실시간 임상 환경에서 센서 가용성에 따라 동적으로 가중치를 조절한다.

실험은 크게 세 부분으로 나뉜다. 첫째, 공개 MRI‑based HIT 데이터셋(N=300)을 이용해 통계적 일반화 성능을 검증했으며, 여기서 VIM‑PSE는 평균 Vertex‑to‑Vertex (V2V) 오류를 0.38 cm로, 기존 최첨단보다 49 % 개선했다. 둘째, CT 기반 팬텀(N=1) 실험에서는 실제 의료용 CT와 동시 촬영된 깊이 영상으로부터 정확한 SMPL 매개변수를 복원했으며, torso V2V 오류가 0.26 cm에 머물러 수술용 AR 시스템의 요구 사양(≤0.5 cm) 을 만족했다. 셋째, 인‑비보 자원봉사자(N=6) 실험에서도 복합 자세(측면·누운 자세)와 베딩 가림 상황에서 일관된 성능을 보였으며, Pose MAE(Mean Absolute Error)는 7.2°, Shape MAE는 0.12 cm 수준이었다.

기술적 기여는 (1) 환자 맞춤형 volumetric shape prior와 depth‑based pose 추정을 최초로 결합한 프레임워크, (2) 신뢰도 기반 residual fusion을 구현한 경량 CRF 모듈, (3) 정밀 SMPL ground‑truth을 포함한 팬텀·자원봉사자 데이터셋 공개이다. 한계점으로는 현재 CT/MRI가 정적이며 사전 촬영된다는 전제와, 실시간 CT 획득이 불가능한 상황에서 ‘사전 스캔’에 의존한다는 점을 들 수 있다. 향후 연구에서는 초저선량 CT 혹은 3D 초음파와 같은 빠른 체적 스캔을 실시간 파이프라인에 통합하고, 다중 환자·다중 병상 환경에서의 스케일링을 검증할 필요가 있다.