다중표지질 이미지 질량 사이토메트리를 위한 하이퍼컨볼루션 기반 기초 모델

초록

ImmuVis는 마커가 가변적인 이미지 질량 사이토메트리(IMC) 데이터를 처리하기 위해 마커 임베딩으로부터 동적으로 컨볼루션 커널을 생성하는 하이퍼컨볼루션 모듈을 도입한 효율적인 컨볼루션 기반 기초 모델이다. 28개 코호트·265개 마커·17백만 패치를 포함한 대규모 IMC17M 데이터셋을 마스크드 재구성 자기지도 학습으로 사전학습했으며, 가상 염색, 세포 유형 분류, 임상 예측 등 다양한 다운스트림 작업에서 기존 최첨단 트랜스포머 모델보다 높은 정확도와 낮은 연산 비용을 달성한다. 또한 가우시안 이질분산 회귀를 이용해 픽셀 수준의 불확실성을 추정함으로써 예측 신뢰도를 제공한다.

상세 분석

ImmuVis는 기존 비전 백본이 고정된 채널 수를 전제로 설계된 점을 극복하기 위해 ‘마커‑적응 하이퍼컨볼루션’이라는 핵심 아이디어를 제시한다. 먼저 각 마커 채널을 마커‑불변 인코더 S를 통해 독립적으로 저차원 특징 맵으로 변환하고, 마커 임베딩 ϕe와 ϕd를 이용해 입력 마커 집합 Iₑ와 출력 마커 집합 Jd에 각각 대응하는 동적 커널 Hₑ와 H_d를 생성한다. 이 커널들은 마커 조합에 따라 실시간으로 재구성되므로, 모델은 사전 재학습 없이도 새로운 마커 조합을 바로 처리할 수 있다. 변환된 특징 맵 V는 표준 ConvNeXt‑v2 백본(또는 ViT 변형)으로 통합된 ‘pan‑marker’ 잠재공간 Z로 매핑되며, 이후 마커‑조건부 디코더가 평균 μ와 로그분산 log σ²를 동시에 출력한다.

학습 단계에서는 마스크드 채널 복원(Masked Modeling) 방식을 채택한다. 각 이미지에서 일부 마커를 목표 마커 집합 I_tgt로 선택하고, 그 중 일부를 입력 마커 집합 I_in으로 사용해 공간 마스크를 적용한다. 모델은 마스크된 입력으로부터 I_tgt 전체를 복원하도록 훈련되며, 손실은 가우시안 이질분산 음의 로그우도(NLL) 형태로 정의된다. 이때 로그분산은 클램프와 ε=10⁻⁸을 통해 수치적 안정성을 확보한다.

데이터 규모는 IMC17M이라는 전례 없는 규모(24 405 이미지, 265 마커, 17 M 패치)로, 다양한 조직학과 코호트를 포괄한다. 사전학습 후, ImmuVis는 가상 염색 실험에서 기존 트랜스포머 기반 VirTues보다 낮은 MAE/MSE와 더 빠른 추론 시간을 기록한다. 특히, ConvNeXt‑v2 기반 모델이 ViT 변형보다 지역적 세부 정보를 보존해 마스크 복원 성능이 우수함을 확인했다. 불확실성 추정 측면에서는 이질분산 회귀가 예측 오차와 높은 상관관계를 보이며, 신뢰할 수 없는 재구성에 대해 경고 신호를 제공한다.

계산 효율성도 중요한 장점이다. 하이퍼컨볼루션은 마커 수에 비례하는 연산을 커널 생성 단계에서만 수행하고, 이후의 컨볼루션 연산은 고정 차원으로 진행되므로, 마커 수가 증가해도 트랜스포머의 O(N·C) 복잡도에 비해 선형에 가까운 비용을 유지한다. 결과적으로 대규모 코호트 수준에서 실시간 가상 염색 및 임상 예측이 가능해진다.

요약하면, ImmuVis는 (1) 마커‑가변성을 지원하는 동적 커널 설계, (2) 대규모 자기지도 사전학습, (3) 이질분산 기반 불확실성 추정, (4) 컨볼루션 기반 효율성을 결합해 IMC 분야의 실용적 기초 모델로 자리매김한다.