메드 세그렌즈: 의료 영상 분할을 위한 잠재 레벨 모델 디핑

초록

Med‑SegLens는 SegFormer와 U‑Net 같은 최신 분할 모델의 중간 활성화를 희소 자동인코더(SAE)로 압축해 해석 가능한 잠재 특징으로 변환한다. 서로 다른 인구 집단(성인, 소아, 사하라 이남, 정상)에서 학습된 모델 간 잠재 공간을 헝가리안 매칭으로 정렬해 공유 특징과 데이터셋‑특이적 특징을 구분한다. 데이터셋‑특이적 잠재가 성능 저하의 인과적 병목임을 확인하고, 해당 잠재를 억제·조정하면 재학습 없이도 실패 사례 70 %를 회복하고 Dice를 39.4 %→74.2 %로 향상시킨다.

상세 분석

본 논문은 의료 영상 분할 모델의 ‘왜’와 ‘어디서’ 오류가 발생하는지를 내부 표현 수준에서 규명하려는 시도다. 핵심 아이디어는 두 단계로 나뉜다. 첫째, 각 모델의 중간 레이어(보통 1‑2번째 블록)에서 추출한 고차원 활성값을 희소 자동인코더에 학습시켜, 32개의 희소 잠재 변수(z)로 압축한다. BatchTopK 연산을 통해 샘플당 평균 k=32개의 활성만 남기게 함으로써, 각 잠재가 이미지 내 특정 해부학적·병리학적 패턴에 대응하도록 유도한다. 둘째, 서로 다른 데이터셋에서 학습된 동일 아키텍처 모델들의 SAE 인코더·디코더 가중치를 코사인 유사도 행렬로 비교하고, 헝가리안 알고리즘을 적용해 일대일 매칭을 수행한다. 매칭된 잠재 중 코사인 유사도가 0.8 이상인 경우를 ‘공유 잠재’라 정의하고, 나머지는 ‘데이터셋‑특이 잠재’로 분류한다.

이 과정에서 얻은 주요 통찰은 다음과 같다.

1. 공유 백본: 모든 데이터셋에서 약 35‑60 %의 잠재가 공유되며, 이는 뇌의 기본 구조(경계, 백색질·회백질 대비 등)를 인코딩한다. 이는 아키텍처가 달라도(Transformer 기반 SegFormer vs CNN 기반 U‑Net) 동일하게 학습되는 일반적인 시각적 패턴임을 시사한다.
2. 데이터셋‑특이 잠재와 성능 병목: 성인·소아·SSA 등 각 코호트별로 특화된 잠재가 존재한다. 특히 SSA 코호트에서는 종양 주변 부종(edema)과 비정상적인 신호 강도에 대응하는 잠재가 과도하게 활성화돼, 다른 코호트에서 학습된 모델이 해당 영역을 과소평가하거나 오분류한다. 이러한 잠재를 ‘인과적 병목’이라고 명명하고, 잠재 값을 직접 억제(Zero‑out)하거나 목표값으로 스티어링(Gradient‑based 조정)하면 Dice 점수가 크게 회복된다.
3. 아키텍처 차이: 동일 데이터셋에 대해 SegFormer와 U‑Net을 비교했을 때, SegFormer는 종양 관련 잠재를 28.8 % 활용하는 반면 U‑Net은 2.8 %에 불과했다. 이는 Transformer가 전역 컨텍스트를 더 잘 포착해 종양 영역을 명시적으로 표현한다는 기존 연구와 일치한다.
4. 자동 의미 부여(Auto‑Interp): 각 잠재에 대해 최고 활성 샘플의 공간 히트맵을 추출하고, 뇌 경계 비율, 깊이, 엔트로피 등 정량적 지표를 계산해 ‘부종‑확산형’, ‘핵심‑국소형’ 등 인간이 이해하기 쉬운 라벨을 자동 생성한다. 이는 잠재‑레벨 개입을 임상 전문가와의 커뮤니케이션에 활용할 수 있게 만든다.

실험 결과는 설득력 있다. 4개 코호트(Adult, PED, SSA, IXI) 각각에 대해 SegFormer와 U‑Net을 독립 학습시킨 뒤, 동일 테스트 세트(Adult)에서 평가했을 때, 원본 모델의 최악 클래스(예: SSA에서의 부종) Dice가 39.4 %에 머물렀다. 잠재‑레벨 개입 후 동일 테스트에서 70 %의 실패 사례가 회복되고, 해당 클래스 Dice가 74.2 %까지 상승했다. 중요한 점은 모델 파라미터를 전혀 재학습하지 않았으며, 단순히 잠재 값을 조작함으로써 성능을 개선했다는 것이다. 이는 의료 현장에서 데이터셋 변화(스캐너 교체, 인구 변동) 시 재학습 비용을 크게 절감할 수 있음을 의미한다.

한계점도 명시된다. 현재 잠재‑레벨 개입은 ‘수동’으로 특정 잠재를 선택해 조정하는 방식이며, 자동화된 최적 정책(예: RL 기반)은 아직 구현되지 않았다. 또한, 잠재 해석이 100 % 정확하지 않으며, 일부 잠재는 복합적인 해부학·병리학 정보를 동시에 담고 있어 의미 부여가 모호할 수 있다. 향후 연구에서는 다중 모달(MRI·CT·PET) 통합, 시간적 시퀀스(전후 치료) 분석, 그리고 잠재‑레벨 정규화를 통한 사전 적응(adaptation) 전략을 탐색할 여지가 있다.

전반적으로 Med‑SegLens는 “모델 디핑”이라는 개념을 의료 영상 분할에 성공적으로 적용했으며, 희소 자동인코더와 헝가리안 매칭을 결합해 해석 가능하고 조작 가능한 잠재 공간을 제공한다. 이는 모델 투명성, 오류 진단, 그리고 비용 효율적인 도메인 적응이라는 세 가지 핵심 요구를 동시에 충족시키는 혁신적인 프레임워크라 할 수 있다.