시간을 인식하는 다중모달 자기지도 학습, 소아 수면 분석의 새로운 패러다임

초록

BiTimeCrossNet(BTCNet)은 소아 수면 다중채널 PSG 데이터를 대상으로, 각 30초 구간이 전체 수면 세션 내에서 언제 발생했는지를 시간 정보로 인코딩하고, 무작위로 선택된 두 모달리티 간 교차‑Attention을 학습하는 자기지도(pre‑training) 프레임워크이다. 마스크드 자동인코더와 대조학습을 결합한 두 단계 학습을 거쳐, 시간‑인식 임베딩을 얻고, 이를 고정된 백본으로 선형 탐색(linear probing)했을 때 기존 비시간‑인식 모델보다 모든 6가지 임상 과제(수면 단계, 각성, 무호흡·저호흡·산소감소 등)에서 일관된 성능 향상을 보인다. 또한 독립적인 소아 데이터셋에서도 일반화가 확인되었다.

상세 분석

BTCNet은 기존 수면 자기지도 학습이 갖는 두 가지 한계를 동시에 해결한다. 첫째, 대부분의 SSL이 30초와 같은 고정 길이 윈도우를 독립적인 샘플로 취급해 전체 밤 동안의 시간적 흐름을 무시한다는 점이다. BTCNet은 “글로벌 시간‑인식 포지셔널 컨디셔닝”을 도입해, 각 윈도우가 전체 수면 세션 내에서 차지하는 상대적 위치를 표준화된 z‑스코어(𝑡̂ᵢ)로 변환하고, 이를 FiLM‑style 스케일·시프트(γ,β) 파라미터에 매핑한다. 이렇게 얻은 시간‑조건화는 패치‑레벨 위치 인코딩(공간·시간·토큰)과 결합돼, 동일한 생리 신호라도 밤의 다른 구간에 나타날 경우 서로 다른 표현을 학습하도록 만든다.

둘째, 다중모달 상호작용을 학습하는 방법이다. BTCNet은 16개의 모달리티 중 두 개를 무작위로 선택해 쌍(pair)으로 입력하고, 교차‑Attention을 통해 한 모달리티가 다른 모달리티의 패치를 “보는” 방향성을 두 번 수행한다. 이는 기존의 단일모달 MAE나 전체 모달리티를 동시에 정렬하는 방식과 달리, 쌍별 상호작용을 집중적으로 학습함으로써 결측·노이즈가 있는 채널에 대한 강인성을 높인다. 또한, 무작위 쌍 선택은 학습 단계에서 다양한 조합을 경험하게 해, 실제 임상에서 채널이 누락되거나 품질이 낮은 경우에도 유연하게 대응한다.

학습 목표는 두 부분으로 구성된다. (1) 마스크드 자동인코더(MAE) 손실은 입력 신호의 복원을 통해 로컬 패턴을 보존한다. (2) NT‑Xent 기반 대조학습은 동일 신호의 원본·경미하게 변형된 두 뷰를 정렬하고, 서로 다른 신호는 분리하도록 유도한다. 두 손실을 가중합(L_total = L_rec + λ_con L_con)함으로써, 재구성 정확도와 표현 일관성을 동시에 최적화한다.

실험에서는 NCH(2,379건)와 독립 CHA(T)(422건) 두 데이터셋을 사용했다. 6가지 다운스트림 과제(수면 단계 5‑class, 각성, 무호흡, 저호흡, 산소감소, 복합 이벤트)에서, “시간‑인식” 버전이 “시간‑비인식” 버전보다 AUROC·F1이 평균 2~5%p 상승했으며, 특히 호흡 관련 이벤트에서 가장 큰 격차를 보였다. 이는 전역 시간 정보가 호흡 패턴의 장기 변동성을 포착하는 데 핵심적임을 시사한다. 또한, 기존 멀티모달 SSL 모델(PedSleepMAE, SleepFM 등)과 비교했을 때, BTCNet은 동일한 백본을 사용했음에도 불구하고 호흡 이벤트 검출에서 상위 수준의 성능을 기록했다.

기술적 기여는 크게 네 가지이다. (1) 전역 시간‑인식 포지셔널 컨디셔닝을 통한 장기 시간맥락 통합, (2) 무작위 모달리티‑쌍 교차‑Attention을 통한 강인한 다중모달 상호작용 학습, (3) MAE와 대조학습을 결합한 하이브리드 SSL 목표, (4) 공개 데이터셋을 활용한 광범위한 임상 과제와 교차‑데이터셋 검증. 마지막으로, BTCNet은 오픈소스로 제공될 예정이며, 임상 현장에서 소아 수면 데이터에 대한 라벨링 비용을 크게 절감하고, 다양한 호흡·심혈관 관련 진단 지원에 활용될 수 있다.