환자 맞춤형 멀티모달 RGB‑HSI 융합과 증분 휴리스틱 메타러닝을 통한 구강 병변 분류

초록

본 논문은 제한된 라벨 데이터와 저비용 환경을 고려해, RGB 이미지를 31밴드 가상의 하이퍼스펙트럼 영상으로 복원하고, ConvNeXt‑v2 기반 딥 임베딩, 혈색소 민감 스펙트럼 지표, 텍스처·스펙트럼 형태 특징, 인구통계 정보를 결합한 멀티모달 벡터를 만든다. 이후 LightGBM·ExtraTrees·GradientBoosting·로지스틱 회귀 등 네 개의 캘리브레이션된 베이스 모델의 확률 출력을 불확실성 메타피처와 함께 스택하고, 환자 수준 평균을 이용한 후처리(포스터리어 스무딩)를 적용한 Incremental Heuristic Meta‑Learner(IHML)를 제안한다. 환자별 검증을 통해 매크로 F1 66.23 %·전체 정확도 64.56 %를 달성, 기존 딥 탭ular 모델보다 우수한 성능을 보였다.

상세 분석

본 연구는 구강암·잠재 악성 병변(Oral Potentially Malignant Disorders, OPMD) 조기 진단을 위한 실용적인 AI 파이프라인을 제시한다. 가장 큰 강점은 저비용 RGB 촬영만으로 하이퍼스펙트럼(HSI) 정보를 추정한다는 점이다. 이를 위해 저자들은 MPRNet을 미세 조정해 400‑700 nm 구간을 10 nm 간격으로 31채널 HSI 큐브를 복원했으며, PSNR 33.5 dB라는 충분히 높은 재구성 품질을 확보했다. 복원된 HSI는 혈색소(산소화·탈산소화 헤모글로빈) 흡수 특성을 활용한 비율 지표(R545/R575, NDI 등)와 스펙트럼 형태(피크·밸리·곡률) 특징을 추출하는 기반이 된다. 동시에 ConvNeXt‑v2를 이용해 전이학습된 딥 임베딩(768 차원)을 얻어 전반적인 형태·색상·구조 정보를 포괄한다. 텍스처 측면에서는 GLCM, LBP, Gabor, SIFT 등 다중 스케일·방향 특징을 58 차원으로 정리했으며, 인구통계(연령·성별·흡연·음주·베텔 등) 5 차원을 추가해 임상적 위험 요인을 반영한다.

특징 결합은 단순 연결(concatenation) 방식이지만, 각 모달리티별 정규화와 이후 메타러닝 단계에서 확률 기반 스택을 사용함으로써 차원 붐빔과 상관관계 문제를 완화한다. 베이스 모델로 선택된 LightGBM·ExtraTrees·GradientBoosting·Isotonic‑calibrated Logistic Regression은 모두 확률 출력과 캘리브레이션을 제공한다. 각 모델의 출력 확률벡터에 대해 최고 확률, 상위 두 클래스 차이, 셰넌 엔트로피 등을 계산해 불확실성 메타피처(c(m))를 만든 뒤, 모든 확률·불확실성 피처를 하나의 메타벡터 h에 스택한다.

IHML의 핵심은 두 단계의 “증분”이다. 첫 번째는 베이스 모델들의 확률을 메타러닝 로지스틱 회귀에 입력해 최종 클래스 확률을 도출하는 전통적 스태킹이다. 두 번째는 환자 수준에서 동일 환자에 속한 여러 이미지의 확률을 평균(p_g)하고, 현재 샘플 확률에 α(=0.3 정도) 비율로 혼합하는 포스터리어 스무딩이다. 이는 환자 내 라벨 일관성을 강제하고, 이미지 품질·조명 변동에 따른 개별 예측 변동성을 감소시킨다.

실험 설계는 환자 단위 스트래티파이드 그룹 K‑Fold(5‑fold)과 15 % 환자를 완전한 테스트 셋으로 분리하는 “patient‑wise unseen” 검증을 채택해 데이터 누수를 방지했다. 클래스 불균형(특히 OCA 4.3 %)에도 불구하고 매크로 F1 66.23 %·전체 정확도 64.56 %를 기록했으며, 기존 딥 탭ular 모델(TabICL, T2G‑Former, TabTransformer, DANet)보다 일관적으로 우수했다.

한계점으로는 가상 HSI 복원의 정확도가 실제 하이퍼스펙트럼 촬영에 비해 제한적일 수 있으며, 복원 모델(MPRNet)의 학습에 추가적인 라벨이 필요할 가능성이 있다. 또한 베이스 모델 수와 α 파라미터에 대한 민감도 분석이 부족해 실제 현장 적용 시 튜닝이 필요할 것으로 보인다. 그럼에도 불구하고, 저비용 이미지 기반 멀티모달 특징 추출과 환자 수준 확률 스무딩을 결합한 IHML은 소규모·고이질성 의료 데이터셋에서 강건한 분류 성능을 확보하는 유망한 접근법이다.