다중암종 조직 이미지 기반 공간 전사체 예측을 위한 혼합 잠재 흐름 모델

초록

MoLF는 히스토리 이미지와 암 종류 정보를 조건으로 하여, 변분 오토인코더로 구축한 유전자 잠재 공간에 조건부 흐름 매칭을 적용한다. 전문가(Expert)들을 혼합해 동적으로 라우팅함으로써 암마다 다른 조직 패턴을 별도 모델링하고, 이를 통해 기존 단일 모델보다 높은 정확도와 제로샷 종간 일반화를 달성한다.

상세 분석

MoLF는 두 단계의 생성 모델링 파이프라인을 제안한다. 첫 번째 단계에서는 Transformer 기반 변분 오토인코더(VAE)를 이용해 고차원 유전자 발현 데이터를 저차원 잠재 변수 z 로 압축한다. 인코더 qϕ(z|x)와 디코더 pψ(x|z)는 각각 평균·분산을 예측하는 Transformer와 MLP로 구현되며, ELBO 최적화(β‑KL 가중치 포함)를 통해 생물학적 프로그램을 반영하는 구조화된 잠재 공간을 학습한다. 두 번째 단계에서는 조건부 흐름 매칭(Conditional Flow Matching, CFM)을 사용해 표준 정규분포 p₀ 에서 잠재 공간 p(z|c) 으로의 연속적인 변환을 학습한다. 여기서 c 는 이미지 특징 c_img 과 암 유형 원-핫 c_type 을 포함한다. 시간‑의존 벡터 필드 vθ(z,t,c) 는 ODE dzₜ/dt = vθ(zₜ,t,c) 로 정의되며, 최적 전달(Optimal Transport) 경로 ψₜ = (1‑t)z₀ + t z₁ 에 대한 직선형 목표 uₜ = z₁‑z₀ 와의 L2 손실을 최소화한다.

핵심 혁신은 벡터 필드를 희소 Mixture‑of‑Experts(MoE) 로 파라미터화한 점이다. N개의 전문가 Eᵢ 중 상위 k 개만 활성화하는 Top‑k 게이팅 G(·)을 도입해, 서로 다른 조직·암 유형에 대해 독립적인 서브‑맵을 학습한다. 이는 단일 네트워크가 서로 상충되는 전이 규칙을 동시에 학습해야 하는 문제를 완화하고, 전문가 붕괴를 방지하기 위해 로드‑밸런싱 손실 L_aux 를 추가한다. 또한, 흐름 단계에서 얻은 최종 잠재 상태 ẑ₁ 을 디코더 fψ 로 복원해 원본 유전자 발현 x 와의 MSE L_gene을 최소화함으로써 “생물학적 일관성”을 강제한다.

학습 시에는 조건 c 를 10% 확률로 제거해 Classifier‑Free Guidance(CFG)를 구현하고, 단일‑스텝 Euler 통합에 가중치 w 를 곱해 샘플링 품질을 조정한다. w 값은 “Filter‑and‑Rank” 절차로 자동 선택한다. 실험에서는 합성 8‑Gaussian 데이터에서 MoE‑Transformer가 Dense Transformer 대비 2‑Wasserstein 거리와 시각적 모드 분리에서 현저히 우수함을 보였으며, 실제 HEST‑1k 다중암종 벤치마크에서는 Hallmark 경로와 고변동 유전자(HVG) 두 군데 모두 Pearson 상관계수와 R²에서 기존 최첨단 모델(STFlow, STEM, STPath 등)을 앞섰다. 특히, 암 종류별 Top‑50 HVG에 대해 평균 PCC 0.406을 기록했으며, Hallmark 저변동 유전자에서도 일관된 성능 향상을 확인했다. 제로샷 종간 실험에서는 마우스 조직 데이터에 대해 의미 있는 예측을 수행, 모델이 조직‑분자 연관성을 보편적인 생물학적 원리로 학습했음을 시사한다.

전반적으로 MoLF는 (1) 변분 오토인코더로 유전자 잠재 공간을 명시적으로 정의, (2) 조건부 흐름 매칭으로 효율적인 샘플링, (3) MoE 기반 전문가 라우팅으로 암별 이질성을 해소, (4) 재구성 및 로드‑밸런싱 정규화로 학습 안정성을 확보한다는 네 가지 설계 원칙을 결합한다. 이는 대규모 다중암종 데이터에서 단일 모델이 겪는 파라미터 간 간섭 문제를 근본적으로 해결하고, 향후 조직 이미지 기반 전사체 예측뿐 아니라 다른 멀티‑도메인 바이오이미징 작업에도 적용 가능한 프레임워크를 제시한다.