임상 지식 기반 다중모달 학습으로 보행 영상에서 척추측만증 스크리닝 혁신

초록

본 논문은 청소년 특발성 척추측만증(AIS) 조기 검출을 위해, 데이터 누수를 방지한 새로운 보행 영상 데이터셋 ScoliGait와 임상 선행 지식을 활용한 키네마틱 지식맵, 그리고 영상·텍스트·지식맵을 효과적으로 결합하는 잠재 어텐션 풀링(Latent Attention Pooling) 기법을 제안한다. 다중모달 모델은 기존 단일모달 대비 정확도·F1 점수에서 현저히 우수하며, 지식맵을 통한 해석 가능성도 제공한다.

상세 분석

ScoliGait 데이터셋은 1,572개의 학습 클립과 300개의 완전 독립 테스트 클립으로 구성되어 있으며, 각 클립은 방사선 촬영으로 측정된 Cobb 각도와 임상적 키네마틱 프라이어를 반영한 텍스트 설명을 동시에 제공한다. 데이터 누수 방지를 위해 학습과 테스트에 동일 인물을 절대 겹치지 않게 설계했으며, 이는 기존 Scoliosis1K와 같은 공개 데이터셋에서 흔히 발생하던 ‘같은 피험자 클립 재사용’ 문제를 근본적으로 해결한다.

키네마틱 지식맵은 238개의 특징을 세 영역(모션 스페이스 140, 자체 스켈레톤 32, 신호 교차상관 66)으로 정량화한다. 관절 거리, 관절 간 각도, 보행 주기 동안의 동기화 정도 등을 수치화해 임상적으로 의미 있는 변수 집합을 만든 뒤, 모델의 어텐션 스코어를 이 맵에 매핑함으로써 “어디가 중요한가”를 직관적으로 보여준다. 이는 기존의 포스트-핫 어텐션 히트맵이 제공하는 시각적 강조와 달리, 실제 임상 진단 기준과 직접 연결된 해석을 가능하게 한다.

멀티모달 인코더는 각각 텍스트(Sentence‑Transformers, MiniLM‑L6‑v2), 비디오(ViT), 지식맵(ViT) 전용 트랜스포머를 사용한다. 중요한 설계는 ‘잠재 어텐션 풀링(Latent Attention Pooling)’이다. 이 층은 고정된 크기의 라틴트 딕셔너리를 학습하고, 입력 시퀀스(비디오 프레임, 텍스트 토큰, 지식맵 피처)와 교차 어텐션을 수행해 가장 표현력이 높은 라틴트 토큰을 추출한다. 기존 평균 풀링이나 단순 컨캣보다 파라미터 효율성은 유지하면서도, 각 모달리티 간의 복합적인 상관관계를 더 깊이 포착한다. 실험 결과, 라틴트 풀링을 사용한 ‘Cat+Latent’ 방식이 단순 컨캣(Cat)이나 어텐션 레이어(Cat+Att)보다 전체 정확도 64%→70%, F1 56.2%→61.9%까지 상승시켰다.

성능 평가에서는 이진 AIS 스크리닝(10° Cobb 각도 기준)에서 단일 모달리티 대비 다중 모달리티 결합이 큰 이득을 보였다. 특히 지식맵 단독 모델이 비디오 모델보다 1.7% 높은 정확도와 3.2% 높은 F1을 기록했으며, 이는 구조화된 임상 변수의 표현력이 원시 영상보다 더 강력함을 시사한다. 또한 기존 최첨단 모델인 ScoNet‑MT와 비교했을 때, 전체 정확도는 비슷하지만 양성 클래스(실제 AIS 환자) 재현율이 현저히 낮아 실제 임상 적용에 한계가 있었던 반면, 제안 모델은 양성 재현율 82%를 달성해 실용성을 크게 향상시켰다.

해석 가능성 측면에서는 지식맵 어텐션을 시간‑변수 2D 히트맵으로 시각화해, 특정 시점에 어떤 관절 거리나 동기화 지표가 모델에 의해 강조되는지 명확히 확인할 수 있다. 이는 임상의가 모델 결과를 기존 물리 검진(예: 비대칭 팔 스윙, 골반 회전)과 직접 대조해 검증할 수 있게 하며, ‘블랙 박스’ 문제를 실질적으로 완화한다.

전체적으로 본 연구는 (1) 데이터 누수 방지와 방사선 기반 라벨링을 갖춘 고품질 데이터셋 구축, (2) 임상 지식과 직접 연결된 구조화된 특징 맵 설계, (3) 라틴트 어텐션 풀링을 통한 효율적이고 풍부한 다중모달 융합이라는 세 축을 통해 AIS 보행 기반 스크리닝의 정확도와 해석 가능성을 동시에 끌어올렸다. 향후 모바일 디바이스에 경량화 모델을 배포하거나, 다른 근골격계 질환으로 확장하는 연구가 기대된다.