HER2 점수를 위한 잠재 가이드 듀얼 스트림 네트워크

본 논문은 HER2 발현 수준을 정확히 평가하기 위한 새로운 딥러닝 프레임워크인 LGD‑Net을 제안한다. 기존의 HER2 자동 스코어링 접근법은 크게 두 갈래로 나뉜다. 첫 번째는 H&E 병리 이미지만을 이용해 직접 등급을 예측하는 단일 모달 방법으로, 조직 구조만을 기반으로 하기 때문에 1+와 2+ 같은 미묘한 구분에 한계가 있다. 두 번째는 H&E 이미지를 IHC 이미지로 변환하는 가상 스테이닝(generative virtual staining) 기법이다. Pix2Pix, GAN 기반 모델들이 대표적이며, IHC 이미지가 직접적인 분자 정보를 제공하므로 성능이 우수하지만, 픽셀‑레벨 재구성 손실과 적대적 학습으로 인한 고비용, 그리고 도메인 이동 시 발생하는 아티팩트가 진단 오류를 야기한다는 문제점이 있다. LGD‑Net은 이러한 문제점을 해결하기 위해 “특징 환상(feature hallucination)”이라는 개념을 도입한다. 핵심 아이디어는 IHC 이미지의 잠재 표현을 직접 학습하고, H&E 이미지로부터 이 잠재 공간을 추정하도록 모델을 훈련하는 것이다. 이를 위해 교사‑학생 인코더 구조를 사용한다. 교사 인코더(E_T)는 실제 IHC 이미지를 입력받아 잠재 특징 z_IHC를 추출하고, 학생 인코더(E_S)는 H&E 이미지를 입력받아 z_HE를 만든다. 두 인코더는 동일한 ResNet‑50 백본을 공유하지만 파라미터는 독립적으로 학습된다. 특징 환상 모듈 M은 z_HE를 받아 ẑ_IHC = M(z_HE) 로 변환한다. 이때 목표는 ẑ_IHC가 교사 인코더가 만든 z_IHC와 의미적으로 일치하도록 하는 것이다. 이를 위해 코사인 거리 기반 정렬 손실(L_dist)을 도입해 두 특징 벡터의 방향성을 맞춘다. 픽셀‑레벨 재구성을 하지 않음으로써 연산량을 크게 줄이고, 불필요한 고주파 텍스처를 학습하지 않는다. 하지만 단순히 특징을 정렬하는 것만으로는 임상적으로 의미 있는 정보를 보장하기 어렵다. 따라서 논문은 두 가지 병리학적 도메인 지식을 보조 손실로 통합한다. 첫 번째는 핵 밀도 정규화이다. H&E 이미지의 헤마톡실린 채널을 색상 분해하고 가우시안 필터링을 통해 실제 핵 밀도 지도 K_gt를 만든 뒤, ẑ_IHC를 입력으로 하는 경량 핵 디코더 D_nuc가 예측한 ˆK와 MSE 손실로 비교한다. 두 번째는 막 염색 강도 정규화이다. DAB 채널을 HED 색공간에서 추출해 바이너리 마스크 M_gt를 만들고, ẑ_IHC를 입력으로 하는 막 디코더 D_mem이 예측한 ˆM과 Dice 손실로 비교한다. 이 두 보조 작업은 hallucinated 특징이 실제 조직학적 구조와 HER2 특이적 막 염색 패턴을 내포하도록 강제한다. 특징 융합 단계에서는 동적 어텐션 메커니즘을 적용한다. z_HE와 ẑ_IHC를 채널·공간 차원에서 결합한 뒤, 공유 MLP를 통해 어텐션 맵 A를 계산하고, 이를 곱해 가중된 fused 특징 z_fused를 만든다. 이렇게 하면 IHC 특징이 불확실하거나 노이즈가 섞였을 때 자동으로 가중치를 낮춰, 최종 분류기의 견고함을 확보한다. 분류기는 완전 연결 레이어와 소프트맥스 층으로 구성되어 HER2 등급(0, 1+, 2+, 3+)에 대한 확률을 출력한다. 전체 손실은 L_total = L_cls + λ_d·L_dist + λ_n·L_nuc + λ_m·L_mem 로 정의되며, λ 값은 실험적으로 λ_d=10, λ_n=5, λ_m=5 로 설정하였다. 실험은 공개 BCI 데이터셋(4,873 쌍의 H&E‑IHC 패치, 1024×1024 픽셀)에서 수행되었다. 공식 훈련/테스트 분할(3896:977)을 사용했으며, 핵 밀도와 막 마스크는 자동 파이프라인을 통해 라벨링하였다. 모델은 512×512 크기로 리사이즈한 입력을 사용하고, Adam 옵티마이저(β1=0.9, β2=0.999)와 cosine annealing 스케줄로 50 epoch 학습하였다. 성능 평가는 정확도(Acc), 매크로‑F1, Cohen’s Kappa(κ) 세 가지 지표로 이루어졌다. H&E 단일 모달 기준 정확도는 82.29%였으며, IHC 단일 모달은 89.46%를 기록했다. 기존의 이미지 concat, feature concat, feature fusion 기반 듀얼 모달 방법은 각각 90.99%, 93.76%, 94.37%의 정확도를 보였다. LGD‑Net은 H&E만을 입력으로 사용하면서도 95.60%의 정확도, 0.9644의 매크로‑F1, 0.9453의 κ를 달성해 모든 기존 방법을 능가했다. 특히, feature hallucination만 적용해도 정확도가 92.53%까지 급상승했으며, 핵·막 정규화를 차례로 추가했을 때 각각 94.27%, 94.78%로 점진적인 개선이 확인되었다. 최종적으로 두 가지 도메인 정규화를 모두 적용한 모델이 95.60%의 최고 성능을 기록했다. 이러한 결과는 (1) 픽셀‑레벨 가상 스테이닝을 배제함으로써 연산 효율성을 크게 높이고, (2) 교사‑학생 구조와 특징 환상으로 H&E와 IHC 사이의 의미적 격차를 효과적으로 메우며, (3) 병리학적 도메인 지식을 손실에 직접 통합해 모델이 실제 조직학적 현상을 학습하도록 유도한다는 세 가지 핵심 혁신을 입증한다. 따라서 LGD‑Net은 제한된 의료 인프라를 가진 지역에서도 HER2 자동 스코어링을 실현할 수 있는 실용적인 솔루션으로 평가된다.