순수 시각 기반 장거리 기관지 로봇 자율 항법

초록

본 논문은 외부 추적 장치를 전혀 사용하지 않고, 사전 CT에서 생성한 가상 목표와 실시간 내시경 영상을 이용해 장거리 기관지 탐색을 수행하는 계층형 장·단기 에이전트 프레임워크를 제안한다. 단기 반응형 에이전트는 저지연 제어를, 장기 전략 에이전트는 해부학적 모호 구역에서 의사결정을 지원한다. 충돌 시 세계 모델 비평가가 미래 시각 상태를 예측해 목표 영상과 가장 유사한 행동을 선택한다. 고충실도 인공기관지, 생체 외 돼지 폐, 살아있는 돼지 모델에서 평가한 결과, 전문가 수준의 성공률과 탐색 깊이를 달성하였다.

상세 분석

이 연구는 기존 기관지 로봇 내비게이션이 전자기 트래킹이나 형태 감지와 같은 외부 센서에 의존하는 한계를 극복하고자, 순수 시각 기반 자율 시스템을 설계하였다. 핵심 아이디어는 두 가지 시간 스케일을 결합한 계층형 에이전트 구조이다. 단기 반응형 에이전트는 EfficientNet‑B0을 백본으로 사용해 현재 내시경 프레임과 목표 가상 영상을 임베딩하고, 디코더‑전용 트랜스포머를 통해 전·후 이동, 4방향 굽힘, 목표 전환 명령 등 6 자유도 제어 신호를 실시간(수십 Hz)으로 출력한다. 이는 저지연 응답성을 확보하면서도 시각적 정렬 오류를 즉시 보정한다. 반면 장기 전략 에이전트는 두 가지 보조 정보를 결합한다. 첫째, 사전 CT에서 추출한 기관지 중심선 기반 경로를 따라 생성된 가상 목표 시퀀스를 이용해 전통적인 기하학적 가이던스를 제공한다. 둘째, 대규모 멀티모달 언어 모델(LLM)을 활용해 “기관지 분기에서 어느 방향으로 진행해야 하는가”와 같은 고수준 의미적 질문에 답하고, 상황에 맞는 행동 시퀀스를 제시한다. 두 에이전트가 동시에 활성화될 경우, 전략 에이전트의 제안이 단기 에이전트의 상위 K 로그 확률 안에 포함되면 합의를 이루어 바로 실행한다. 만약 불일치가 발생하면, 충돌 원천에 따라 처리 방식을 달리한다. 사전 가이던스에서 온 제안은 무시하고, LLM에서 온 제안은 세계 모델(예측 영상 생성 네트워크)을 비평가로 사용한다. 세계 모델은 후보 행동마다 짧은 롤아웃(몇 프레임) 후의 내시경 영상을 예측하고, LPIPS(Perceptual Image Patch Similarity) 지표로 목표 가상 영상과의 시각적 차이를 측정한다. 가장 작은 차이를 보이는 행동이 최종 선택된다. 학습 단계에서는 전문가 시연 데이터를 이용해 행동을 모방 학습(imitation learning)하고, 교차 엔트로피 손실로 정책을 최적화한다. 실험에서는 17개의 세그먼트를 포함한 고충실도 인공기관지 모델에서 모든 목표에 도달했으며, 생체 외 돼지 폐에서는 8세대까지 80% 성공률을 기록했다. 살아있는 돼지 모델에서는 전문가 기관지경과 비슷한 성공률과 탐색 시간을 보였으며, 기존 자동화 기법(GNM, VINT)보다 깊은 세그먼트까지 안정적으로 도달했다. 이 결과는 외부 센서 없이도 시각 정보만으로 장거리 기관지 탐색이 가능함을 입증한다. 다만, 세계 모델의 예측 정확도와 LLM의 문맥 이해도가 제한될 경우 충돌 해결이 부정확해질 수 있으며, 실제 임상 환경에서의 호흡 움직임과 점액 분비 등 복잡한 변수를 추가로 고려해야 한다.