RealSynCol 고충실도 합성 대장 데이터셋을 이용한 3D 재구성

초록

RealSynCol은 10개의 CT 기반 대장 모델을 활용해 28 130장의 고해상도 RGB 프레임과 정확한 깊이, 광류, 3D 메쉬, 카메라 궤적을 제공하는 합성 데이터셋이다. 실제 내시경 조명·질감·운동 패턴을 재현했으며, 기존 합성 데이터와 비교한 벤치마크에서 임상 영상에 대한 깊이·포즈 추정 일반화 성능이 크게 향상됨을 보였다.

상세 분석

본 논문은 내시경 3D 재구성을 위한 데이터 부족 문제를 해결하고자 고충실도 합성 데이터셋 RealSynCol을 제안한다. 먼저 ACRIN 6664 저장소에서 10명의 CT 콜론 그래피를 선정했으며, 연령·성별·체위(프론 및 슈프라인) 균형을 맞추어 해부학적 다양성을 확보하였다. 3D Slicer를 이용해 반자동 세그멘테이션 후 수동 보정을 거쳐 대장 내강을 정밀히 추출하고, 중심선을 정의하였다. Blender 환경에서는 실제 내시경 조명(백색광·좁은 파장)과 핀홀 카메라를 구현하고, 물·점막 반사 효과를 텍스처 매핑으로 재현하였다. 특히 카메라 궤적 생성에 있어 단순 중심선 따라 이동하는 방식을 넘어, 실리콘 콜론 팬텀 실험에서 측정된 임상적 움직임(회전·진동·속도 변동)을 통계적으로 모델링해 비선형·불규칙한 움직임을 시뮬레이션하였다. 이 과정은 기존 데이터셋이 보이는 과도한 직선·전진 운동을 극복하고, 실제 내시경이 겪는 급격한 방향 전환과 스페큘러 반사를 반영한다.

데이터는 1024×1024 HD 해상도로 렌더링되었으며, 각 프레임에 깊이 맵, 광류, 카메라 내·외부 파라미터, 3D 메쉬가 정밀히 라벨링된다. 제공된 20개의 시퀀스는 10개의 서로 다른 대장 형태를 기반으로 하여, 해부학적 변이와 텍스처 다양성을 동시에 확보한다.

벤치마크에서는 기존 합성 데이터셋(Mahmoo et al., EndoSLAM, Synth-colon 등)과 비교해 동일한 딥러닝 기반 깊이·포즈 추정 네트워크를 학습시켰다. 실험 결과 RealSynCol으로 사전학습한 모델은 실제 임상 콜론 영상에서 평균 절대 깊이 오차가 15 % 감소하고, 포즈 회전 오류가 12 ° 이하로 개선되었다. 이는 텍스처 현실성, 조명 변동, 비선형 궤적이 도메인 격차를 크게 완화함을 시사한다.

한계점으로는 물·대변 혼합 정도를 정량화하지 못했으며, 병변(폴립·염증) 모델링이 부재해 병변 검출과 연계된 연구에 바로 적용하기 어렵다. 또한, 현재는 단일 카메라(모노큘러)만을 고려했으며, 스테레오·다중 스펙트럼 센서와의 연동은 추후 과제로 남는다.

향후 연구에서는 병변 텍스처와 혈관 구조를 추가하고, 물리 기반 광선 추적을 통해 스페큘러 하이라이트를 더 정밀히 모델링할 계획이다. 또한, 실시간 SLAM 파이프라인과 결합해 임상 적용 가능성을 검증하고, 도메인 적응을 위한 GAN 기반 스타일 변환 기법과의 시너지를 탐색한다.