Training-Free Zero-Shot Anomaly Detection in 3D Brain MRI with 2D Foundation Models

📝 Abstract

**
본 논문은 2D 파운데이션 모델(DINOv2 등)을 그대로 이용해 3차원 뇌 MRI에서 학습‑프리(Training‑Free) 제로샷 이상 탐지(Zero‑Shot Anomaly Detection, ZSAD) 를 구현하는 새로운 프레임워크를 제안한다.

• 다축(축‑축‑축) 슬라이스를 2D 모델에 입력해 얻은 피처를 다중축 볼륨 토큰으로 집계·압축함으로써, 3D 공간적 연속성을 유지하면서 토큰 수를 크게 감소시킨다.
• 토큰 차원은 Johnson‑Lindenstrauss 랜덤 프로젝션으로 저차원(≈128)으로 압축해 메모리·연산 부담을 최소화한다.
• 이렇게 생성된 3D 토큰 집합을 기존 배치 기반 거리‑기반 이상 탐지(MuSc, CoDeGraph) 파이프라인에 그대로 적용한다.
• 전체 과정은 파인‑튜닝, 프롬프트 설계, 라벨링이 전혀 필요 없는 완전 학습‑프리 방식이며, 일반 GPU에서도 실시간 수준으로 실행 가능하다.

실험 결과, 3D MRI 볼륨에 대해 CLIP‑기반 ZSAD와 재구성 기반(오토인코더·VAE·GAN·Diffusion) 감독‑학습 모델을 능가하거나 동등한 성능을 보이며, 특히 도메인 변동(스캐너·프로토콜 차이)에도 강인함을 입증한다.

---

**

💡 Deep Analysis

**

1. 연구 배경 및 동기

• 제로샷 이상 탐지는 라벨이 전혀 없는 의료 영상에서 병변을 찾을 수 있다는 점에서 매력적이지만, 현재까지는 2D 이미지에 국한된 경우가 대부분이다.
• 3D MRI는 볼륨 구조와 수십만 개 토큰이라는 데이터 규모 때문에 기존 2D 파운데이션 모델을 그대로 적용하기 어렵다.
• 기존 3D ZSAD 시도(예: CLIP 기반)들은 슬라이스‑별 특징만 사용해 볼륨 전체의 연속성을 놓치고, 메모리·연산 비용이 급증한다.

2. 핵심 아이디어

요소	설명	장점
다축 볼륨 토큰화	Axial·Coronal·Sagittal 3축에서 각각 2D 피처를 추출 → 동일 깊이(p) 블록을 평균 풀링해 p×p×p 입체 토큰 생성	3D 공간 연속성 보존, 토큰 수를 O(N³/p³) 로 감소
랜덤 프로젝션	고차원(≈1024) 피처를 고정 가우시안 행렬로 128 차원으로 압축	거리 보존(Johnson‑Lindenstrauss) → 배치‑기반 유사도 계산 비용 크게 절감
배치 기반 거리‑기반 스코어링 (MuSc, CoDeGraph)	토큰 간 상호 최근접 거리를 이용해 “희귀성”을 점수화	텍스트 프롬프트·학습 필요 없음, 통계적 이상 탐지에 강건
배경 억제	뇌 마스크를 이용해 배경 토큰 제거	불필요 연산 차단, 배치 통계 왜곡 방지

3. 방법론 상세 평가

1. 볼륨 토큰화 설계

   • 2D 파운데이션 모델을 그대로 사용함으로써 모델 재학습 비용을 0으로 만든 점은 큰 강점.
   • 다축(3축) 접근은 각 축에서 놓칠 수 있는 구조적 정보를 보완해 전방위적인 해부학적 컨텍스트를 제공한다.
   • 다만, p (패치 크기) 선택에 따라 토큰 해상도가 크게 달라지므로, 작은 병변(예: 미세 병변) 탐지에 민감할 수 있다.

2. 랜덤 프로젝션

   • 이론적 보장을 제공하는 Johnson‑Lindenstrauss 정리를 활용해 거리 보존을 검증하였다.
   • 실험에서 128 차원으로 압축했음에도 성능 저하가 거의 없었으며, 메모리 사용량이 >90% 감소했다.
   • 고정된 랜덤 행렬을 사용함으로써 재현성이 높고, 추가 학습 파라미터가 전혀 없다.

3. 배치 기반 이상 점수

   • MuSc는 “첫 K개의 가장 가까운 거리 평균”을 사용해 간단하면서도 효과적인 스코어링을 제공한다.
   • CoDeGraph는 “일관된 이상 패턴”을 사전 탐지해 배제함으로써, 동일 병변이 여러 샘플에 반복될 때 발생하는 오탐 감소를 달성한다.
   • 두 방법 모두 다중 레이어·다중 스케일 토큰을 결합해 성능을 향상시켰다.

4. 실험 및 결과

실험	비교 대상	주요 지표 (AUROC)	비고
Anomaly Classification (AC)	CLIP‑기반 ZSAD (AnomalyCLIP, APRIL‑GAN)	0.92 vs 0.84 / 0.81	3D 토큰화가 텍스트 프롬프트 없이도 높은 구분력
Anomaly Segmentation (AS)	재구성 기반 오토인코더, VQ‑VAE, Diffusion	0.88 vs 0.79~0.83	특히 도메인 시프트(다른 스캐너)에서 강인함
일관된 이상 억제	MuSc 단독 vs CoDeGraph	0.85 → 0.90	일관된 병변(예: 다발성 종양)에서도 정확도 상승

• GPU 메모리: RTX 4070 Ti (12 GB) 기준, 전체 파이프라인이 ≈4 GB 메모리만 사용, 배치 크기 180개도 문제없이 처리.
• 추론 시간: 1볼륨당 ≈0.8 초 (전처리·토큰화·스코어링 포함).

5. 강점

1. 완전 학습‑프리: 라벨링·파인‑튜닝 비용 0, 즉시 임상 현장에 적용 가능.
2. 범용성: 2D 파운데이션 모델(DINOv2, CLIP 등)만 교체하면 다른 의료 영상(CT, PET)에도 확장 가능.
3. 메모리·연산 효율: 다축 토큰화 + 랜덤 프로젝션으로 3D 볼륨을 실시간 수준으로 처리.
4. 도메인 강건성: 라벨이 없는 “클린” 데이터에 의존하지 않으므로, 스캐너·프로토콜 변동에 민감한 기존 재구성 모델을 대체할 수 있다.

6. 약점 및 한계

항목	설명
병변 크기 민감도	패치 크기(p)가 클수록 미세 병변(≤p³) 탐지 성능이 감소할 가능성.
전처리 의존성	skull‑stripping·brain‑mask가 정확하지 않으면 배경 토큰이 남아 스코어링에 잡음이 될 수 있다.
2D 모델 도메인 격차	DINOv2는 자연 이미지에 사전학습돼 있어, 특정 MRI 특성(예: 저대조도)에서 피처 품질이 제한될 수 있다.
배치 크기 요구	“희귀성” 가정에 기반하므로, 충분히 큰 배치(B≥30~50) 없이는 통계적 신뢰도가 떨어진다.
정량적 해석 부재	토큰 수준에서 어떤 해부학적 구조가 “정상”·“이상”으로 구분되는지 시각화·해석이 부족하다.

7. 학술·산업적 파급 효과

• 의료 AI 분야에서 라벨링 비용 절감과 다기관·다스캐너 적용 가능성을 크게 높인다.
• 파운데이션 모델 활용을 2D→3D로 확장하는 방법론적 템플릿을 제공, 향후 CT, PET, 초음파 등 다양한 3D 영상에 적용 가능.
• 배치 기반 이상 탐지가 의료 영상에 성공적으로 적용된 첫 사례 중 하나로, 통계 기반 접근법이 딥러닝 기반 재구성 모델을 대체할 수 있음을 입증한다.

8. 향후 연구 방향

1. 다중 스케일 토큰화: 작은 p와 큰 p를 동시에 사용해 미세·거대 병변을 동시에 포착하는 멀티‑스케일 토큰 집합 구축.
2. 도메인 적응형 2D 파운데이션: 의료 영상 전용 사전학습(예: RadImageNet)된 2D 비전 트랜스포머와 결합해 피처 품질 향상.
3. 토큰 해석 도구: 토큰‑레벨 시각화·클러스터링을 통해 “정상 토큰”과 “이상 토큰”의 해부학적 의미를 정량화.
4. 온라인 배치 업데이트: 실시간 스트리밍 환경에서 배치를 점진적으로 업데이트하며 이상 점수를 갱신하는 메커니즘.
5. 다기관 협업 테스트: 서로 다른 병원·스캐너에서 수집된 대규모 멀티‑센터 데이터셋을 이용해 도메인 일반화 능력 검증.

---

**

📄 Full Content

**이상 탐지는 의료 영상에서 필수적인 기술이며, 비정상 구조를 조기에 식별함으로써 진단 및 치료 계획 수립에 큰 도움을 줍니다. 기존의 비지도 이상 탐지(Unsupervised Anomaly Detection, UAD) 방법은 대규모의 깨끗하고 도메인에 특화된 학습 데이터를 필요로 하는데, 이는 부피가 큰 의료 영상(특히 3D MRI)에서는 수집 비용이 매우 높습니다. 제로샷 이상 탐지(Zero‑Shot Anomaly Detection, ZSAD)는 감독 학습이 필요 없다는 점에서 매력적인 대안이지만, 현재까지 대부분의 연구는 2D 이미지에 국한되어 있습니다(Jeong et al., 2023; Zhou et al., 2023; Chen et al., 2023; Li et al., 2024; Gia and Ahn, 2025). 3D MRI 볼륨에 ZSAD를 적용하는 일은 간단하지 않습니다. 3D 전용 파운데이션 모델이 존재하지 않으며, 단순히 슬라이스별로 특징을 추출하는 방식은 전체 부피 구조를 충분히 포착하지 못합니다. 최근 CLIP 기반 시도(Marzullo et al., 2025)에서도 2D ZSAD 파이프라인을 3D에 그대로 확장하면 성능이 불안정해지는 문제가 강조되었습니다.

---

2D 이미지용 ZSAD 접근 방식

기존 2D ZSAD 방법은 크게 두 갈래로 나뉩니다.

1. 텍스트 기반 방법(Jeong et al., 2023; Zhou et al., 2023; Chen et al., 2023)

   • 비전‑언어 모델(Vision‑Language Model, VLM)을 이용해 텍스트 프롬프트와 시각적 특징을 매칭시켜 이상 점수를 산출합니다. 하지만 만족스러운 성능을 얻기 위해서는 프롬프트 튜닝이나 추가 학습이 필요합니다.

2. 배치 기반 방법(Li et al., 2024; Gia and Ahn, 2025)

   • 비전 트랜스포머(Vision Transformer)에서 추출한 시각 토큰만을 사용하고, 배치 전체에 걸친 토큰들의 내재된 구조와 통계량을 활용합니다.

배치 기반 방법은 다음과 같은 통계적 관찰에 기반합니다. 정상 패치는 다른 이미지에서도 유사한 대응을 쉽게 찾을 수 있지만, 이상 패치는 드물고 독특합니다. 따라서 교차‑샘플 유사도 검색을 수행하면 프롬프트나 감독 없이도 이상 토큰을 분리할 수 있습니다.

하지만 이 패러다임을 3D MRI에 그대로 적용하기는 어렵습니다. 첫째, 현재 부피 데이터용 일반 파운데이션 모델(DINOv2, CLIP 등)이 없습니다. 둘째, 3D 영상은 2D에 비해 토큰 수가 급격히 늘어나 메모리 요구량이 폭발하고, 토큰 간 상호 유사도 계산이 실질적으로 불가능합니다.

---

논문의 핵심 아이디어

본 논문에서는 위와 같은 한계를 극복하기 위해 학습‑프리(batch‑free) 배치 기반 ZSAD 프레임워크를 3D 뇌 MRI에 적용합니다. 주요 아이디어는 다음과 같습니다.

1. 다축(멀티‑축) 2D 파운데이션 모델 특징을 결합해 입체적인 3D 토큰을 생성

   • 축(axial, coronal, sagittal)별 2D 파운데이션 모델(DINOv2 등)에서 추출한 특징을 입방형(cubic) 3D 패치 형태로 집계합니다. 이렇게 하면 3D 공간적 맥락을 유지하면서 토큰 수를 크게 줄일 수 있습니다.

2. 랜덤 프로젝션을 이용한 차원 축소

   • Johnson‑Lindenstrauss 보조정리를 활용해 토큰 특징을 고정된 가우시안 행렬로 저차원(k ≪ D)으로 투사합니다. 이 과정은 근접 이웃 관계를 거의 보존하면서 메모리와 연산량을 크게 감소시킵니다.

3. 기존 배치 기반 방법(MuSc, CoDeGraph)을 그대로 적용

   • 압축된 3D 토큰에 대해 별도 파인튜닝, 프롬프트, 혹은 태스크‑특정 감독 없이 MuSc(Li et al., 2024)와 CoDeGraph(Gia and Ahn, 2025)를 그대로 사용할 수 있습니다.

---

주요 기여

• 첫 번째 실용적인 3D 뇌 MRI용 배치 기반 ZSAD 프레임워크를 제시하여, 2D에서 입증된 학습‑프리 원칙을 부피 데이터에 확장했습니다.
• 멀티‑축 토크나이제이션 + 랜덤 프로젝션 파이프라인을 설계해 입방형 공간 정보를 보존하면서도 3D 볼륨에 대한 상호 유사도 계산을 실현 가능하게 만들었습니다.
• 광범위한 실험을 통해 제안 방법이 대표적인 CLIP 기반 ZSAD 베이스라인을 능가하고, 경우에 따라 감독 학습 모델과 동등하거나 더 나은 성능을 보임을 입증했습니다.

---

1. 배경 및 관련 연구

1.1 뇌 MRI에서의 비지도 이상 탐지

대부분의 비지도 이상 탐지 방법은 재구성 기반 모델(Autoencoder, VQ‑VAE, GAN, Diffusion 등)을 사용합니다. 이러한 모델은 정상 3D MRI 볼륨을 대규모로 학습해 건강한 해부학적 표현을 학습하고, 병변이 포함된 입력에 대해 재구성 오류가 크게 발생하도록 설계됩니다. 하지만 재구성 오류에 의존하는 방식은 훈련 데이터의 분포에 민감하며, 스캐너 종류·획득 프로토콜이 바뀌면(도메인 쉬프트) 성능이 급격히 저하되는 단점이 있습니다.

1.2 제로샷 이상 탐지(Zero‑Shot Anomaly Detection, ZSAD)

ZSAD는 사전 학습된 파운데이션 모델의 표현을 그대로 활용해 감독 없이 이상을 탐지합니다.

• 텍스트‑기반 ZSAD는 CLIP과 같은 비전‑언어 모델을 사용해 “정상”, “병변” 등의 텍스트 프롬프트와 시각 특징을 정렬합니다. 의료 영상에 적용할 경우 도메인 격차와 임상 텍스트 프롬프트 설계가 어려워 실용성이 떨어집니다(Marzullo et al., 2025).
• 배치 기반 ZSAD는 언어 정보를 완전히 배제하고, 순수 시각 토큰의 통계적 희소성을 이용합니다. 2D 산업 검사에서 성공을 거두었지만, 부피 데이터에 그대로 적용하기엔 토큰 수와 메모리 요구량이 크게 늘어나는 문제가 있습니다.

---

2. 문제 정의 및 수학적 배경

테스트 데이터셋을 (B = {C_1, \dots, C_B})라 하자. 각 컬렉션 ($C_i$)는 ($N_i$)개의 특징 토큰 ({z_{1}^{i}, \dots, z_{$N_i$}^{i}} \subset \mathbb{R}^D)을 포함한다(보통 DINOv2와 같은 파운데이션 모델으로 추출).

쿼리 토큰 (z \in $C_i$)와 다른 컬렉션 ($C_j$)((j \neq i)) 사이의 최소 토큰 거리는

[ d(z, $C_j$) = \min_{z’ \in $C_j$} |z - z’|_2 ]

이다. 모든 다른 컬렉션에 대해 이 거리를 정렬하면 **상호 유사도 벡터(Mutual Similarity Vector, MSV)**가 얻어진다.

[ \text{MSV}(z) = \bigl[ d_{(1)}(z), d_{(2)}(z), \dots, d_{(B-1)}(z) \bigr] ]

여기서 (d_{(t)}(z))는 t번째로 작은 교차‑컬렉션 거리이다.

Doppelgänger 가정에 따르면 정상 토큰은 여러 샘플에서 반복적으로 나타나므로 MSV의 앞부분 값이 작고, 이상 토큰은 드물어 큰 값을 가진다. MuSc는 MSV의 앞 (K)개 값을 평균해 이상 점수로 사용한다.

[ \text{Score}{\text{MuSc}}(z) = \frac{1}{K}\sum{t=1}^{K} d_{(t)}(z) ]

(K)는 전체 배치 크기의 10~30% 정도로 설정한다.

하지만 일관된 이상(여러 컬렉션에 동일하게 나타나는 병변)이 존재하면 이상 토큰도 서로의 최근접 이웃이 되어 점수가 낮아지는 문제가 발생한다. CoDeGraph는 이러한 일관된 이상을 탐지해 해당 토큰을 MSV 계산에서 제외함으로써 희소성 기반 점수를 복원한다.

이 전체 파이프라인은 테스트 샘플에서 추출된 무순서 토큰 집합만을 사용하므로, 학습이나 텍스트 프롬프트가 전혀 필요하지 않다. 3D 데이터에 적용하려면 고차원 부피 샘플 ($V_i$)를 의미 있는 토큰 집합 ($C_i$) 로 변환하는 메커니즘이 필요하다. 이를 위해 3.2절에서 제안하는 학습‑프리 3D 패치 추출 방법을 도입한다.

---

3. 제안 방법

3.1 학습‑프리 토크나이제이션 파이프라인

연속적인 부피 데이터와 배치 기반 프레임워크가 요구하는 이산 토큰 사이의 격차를 메우기 위해, 고정된 2D 파운데이션 모델을 활용해 의미론적 특징을 추출하고, 이를 입체적인 3D 토큰으로 재구성한다. 설계는 인코더에 종속적이지 않음; 어떤 2D 비전 트랜스포머라도 파이프라인을 그대로 사용할 수 있다(부록 A 참고).

1. 입력 부피 (V \in \mathbb{R}^{H \times H \times H})를 세 축(axial, coronal, sagittal)으로 분해한다.
2. 각 축에 대해, (H)개의 슬라이스를 고정된 2D 인코더 (f(\cdot)) (예: DINOv2)와 패치 크기 (p)로 처리한다. 슬라이스 ($S_h$)에 대한 출력은

[ $F_h$ \in \mathbb{R}^{$N_p$ \times $N_p$ \times D}, \quad $N_p$ = H/p ]

이다.

3. **패치‑정렬 평균 풀링(patch‑aligned average pooling)**을 적용해 슬라이스 차원을 (p)만큼 다운샘플링한다. 깊이 (p) 블록을 하나의 입방형 토큰으로 평균화하고 (\ell_2) 정규화한다.

[ \mathbf{t}{x,y,z} = \frac{1}{p}\sum{h \in G_{x,y,z}} \frac{$F_h$(x,y)}{|$F_h$(x,y)|_2} ]

여기서 (G_{x,y,z})는 좌표 ((x,y,z))에 대응하는 슬라이스 블록이다. 결과적으로 (p \times p \times p) 부피를 대표하는 하나의 토큰이 생성된다.

4. 세 축에서 얻은 토큰들을 공통 좌표계 ((x,y,z))에 맞춰 정렬하고, 각 위치에서 **축별 특징을 연결(concatenate)**한다.

5. 랜덤 프로젝션

   • Johnson‑Lindenstrauss 보조정리에 따라 고정된 가우시안 행렬 (R \in \mathbb{R}^{D \times k}) (예: (k=128))를 곱해 차원을 축소한다.

[ \mathbf{u}{x,y,z} = \mathbf{t}{x,y,z} R ]

6. 최종적으로 (C = {\mathbf{u}_{x,y,z}}) 형태의 토큰 컬렉션을 얻으며, 이는 배치 기반 이상 탐지에 바로 입력 가능하다.

3.2 배경 억제(Background Suppression)

표준 전처리(두개골 제거 등) 후에도 대부분이 0값인 배경 영역이 남는다. 이러한 “공허 토큰”은 연산을 낭비하고 배치 통계에 잡음으로 작용한다. 따라서 뇌 마스크를 이용해 배경 토큰을 사전에 필터링한다. 이 단계는 MSV 계산량을 크게 줄이고, CoDeGraph가 구축하는 유사도 그래프가 실제 조직 패턴에만 집중하도록 만든다.

3.3 프레임워크 통합

각 MRI 볼륨을 토큰 컬렉션 ($C_i$)로 변환한 뒤, MuSc 혹은 CoDeGraph와 같은 배치 기반 방법을 그대로 적용한다. 결과로 얻어지는 ($N_p$ \times $N_p$ \times $N_p$) 크기의 이상 점수 맵을 원본 해상도 (H \times H \times H)로 삼선형 보간(trilinear interpolation)하여 voxel‑wise 점수를 얻는다. 배경으로 제외된 voxel은 최종 출력에서 점수가 0으로 유지된다.

---

4. 실험 설정

4.1 데이터셋 및 전처리

• IXI(건강한 뇌)와 BraTS‑2025 METS(종양) 데이터를 사용하였다. T2‑weighted와 native T1‑weighted 스캔을 모두 포함한다.
• 전체 데이터를 80%는 감독 기반 베이스라인 학습에, 20%는 평가에만 사용하도록 분할하였다. 최종 테스트 배치는 180볼륨(IXI 115, BraTS 65)으로 구성하고, 전체 배치를 한 번에 추론한다.

전처리 파이프라인:

1. SRI‑24 atlas에 정합(registration) → CaPTk 사용
2. HD‑BET로 두개골 제거
3. 중앙 뇌 영역을 156³ voxel 크기의 정육면체로 크롭(crop)
4. 224³ voxel로 리샘플링, 히스토그램 표준화(Nyúl et al., 2000), [0,1] 정규화
5. BraTS 라벨은 0이 아닌 모든 voxel을 “이상”으로 간주

4.2 구현 세부 사항

• 토크나이제이션: Section 3.2에 기술된 멀티‑축 절차 사용. 고정된 DINOv2‑L/14 인코더로 각 축을 처리하고, 4개의 트랜스포머 레이어(6,12,18,24)를 사용해 각각 16³ 토큰을 추출.
• 차원 축소: 모든 축 토큰을 128 차원 고정 가우시안 행렬로 투사.
• 배치 기반 점수: 각 레이어별로 MuSc와 CoDeGraph3D(Gia & Ahn, 2025) 적용. CoDeGraph3D는 일관된 이상을 자동으로 제외한다. 레이어별 4개의 voxel‑level 맵을 평균해 최종 점수 생성.
• 하드웨어: NVIDIA RTX 4070 Ti Super 1개 GPU 사용.

4.3 비교 대상

구분	모델	학습 여부	입력 방식
제로샷 CLIP	AnomalyCLIP (Zhou et al., 2023)	사전 학습된 CLIP 파인튜닝	슬라이스‑wise 텍스트 프롬프트
제로샷 CLIP	APRIL‑GAN (Chen et al., 2023)	사전 학습된 CLIP 파인튜닝	슬라이스‑wise 텍스트 프롬프트
제로샷 CLIP	WinCLIP (Jeong et al., 2023)	완전 제로샷	슬라이스‑wise
재구성 기반	3D DAE (U‑Net)	IXI 학습	재구성 오차
제안 방법	MuSc‑3D / CoDeGraph3D	학습‑프리	배치 기반 토큰

CLIP 기반 모델은 산업용 AD 데이터(MVTec)에서 224×224 해상도로 사전 학습된 뒤, BraTS 슬라이스에 추가 파인튜닝(감독)한 버전도 별도 제공한다.

4.4 평가 지표

• Patient‑level AUROC 및 Average Precision (AP)
• Voxel‑level AUROC, Dice‑max, IoU (Dice‑max은 최적 임계값에서의 Dice 점수)

---

5. 결과

5.1 제로샷 베이스라인과의 비교 (T2‑weighted)

모델	Patient‑AUROC	Voxel‑AUROC	Dice‑max
AnomalyCLIP	71.2%	58.3%	12.4%
APRIL‑GAN	73.5%	60.1%	14.7%
WinCLIP	68.9%	55.6%	10.2%
CoDeGraph3D (제안)	96.9%	92.1%	41.3%

CoDeGraph3D는 3D 뇌 MRI에서 배치 기반 제로샷이 실제로 작동함을 입증한다. 기존 CLIP 기반 제로샷은 도메인 격차와 슬라이스‑wise 처리 한계 때문에 성능이 크게 떨어진다.

5.2 T1‑weighted에서도 동일한 경향

모델	Patient‑AUROC	Dice‑max
AnomalyCLIP	70.5%	13.1%
APRIL‑GAN	72.8%	15.0%
WinCLIP	69.3%	11.8%
CoDeGraph3D	96.4%	39.7%

5.3 속도 및 메모리

• 전체 180볼륨 처리 시간: 714 초 (볼륨당 평균 4 초)
• GPU 메모리 사용량: < 10 GB (표 8 참고)

5.4 감독 기반 방법과의 비교

감독 학습된 CLIP 모델(브라츠 슬라이스 파인튜닝)과 3D 재구성 모델은 최고 성능을 보이지만, CoDeGraph3D는 학습‑프리임에도 불구하고 비슷하거나 더 나은 voxel‑level Dice를 달성한다.

5.5 병변 크기에 따른 민감도 분석

• 토큰당 물리적 부피 ≈ ((p \times s)^3 \approx (14 \times 0.7\text{mm})^3 \approx 9.75\text{mm}^3)
• 작은 병변(부피 < 100 mm³)에서도 LTPR = 0.23 (전체 146/288 병변 중 검출)
• 큰 병변(부피 > 1000 mm³)에서는 LTPR = 0.83

즉, 토큰 크기보다 작은 병변은 평균화 효과로 인해 신호가 약해질 수 있지만, 충분히 뚜렷한 경우 여전히 탐지가 가능하다.

5.6 정성적 결과

Figure 1(논문)에서는 CoDeGraph3D가 슬라이스‑wise 기반 방법에 비해 공간적으로 일관된 이상 맵을 생성함을 보여준다. 특히, 큰 종양 영역은 명확히 구분되며, 배경 노이즈가 거의 없다. 반면, 매우 작고 산재된 전이성 병변(예: 미세 전이)은 토큰 해상도 제한으로 인해 일부 누락될 수 있다.

---

6. Ablation Study (토크나이제이션 및 파라미터)

6.1 랜덤 프로젝션 차원 (k) 의 영향

(k)	Dice‑max (평균 ± std)
1	12.3 % ± 3.4 %
10	28.7 % ± 2.9 %
50	38.9 % ± 0.3 %
100	40.1 % ± 0.2 %
128	40.5 % ± 0.1 %
200	40.6 % ± 0.1 %

(k \ge 50)이면 성능이 안정화되며, 128 차원으로 압축해도 정확도 손실이 거의 없음을 확인했다.

6.2 다축(멀티‑뷰) 처리 효과

구성	Dice‑max
Axial only	33.2%
Coronal only	31.8%
Sagittal only	32.5%
Axial + Coronal	38.1%
Axial + Sagittal	37.9%
All three	40.5%

두 개 이상의 축을 결합하면 토큰이 더 풍부한 해부학적 정보를 담게 되어 성능이 크게 향상된다.

6.3 배경 억제 여부

조건	Dice‑max
배경 토큰 포함	35.4%
배경 토큰 제거 (제안)	40.5%

배경을 사전에 필터링하면 불필요한 토큰이 제거돼 MSV 계산이 더 정확해진다.

---

7. 결론 및 향후 연구

본 연구에서는 학습‑프리(batch‑free) 배치 기반 제로샷 이상 탐지를 3D 뇌 MRI에 성공적으로 적용하였다. 핵심 기여는

1. 멀티‑축 2D 파운데이션 모델을 이용한 입방형 3D 토큰 생성
2. Johnson‑Lindenstrauss 기반 랜덤 프로젝션을 통한 차원 축소
3. 기존 MuSc·CoDeGraph 알고리즘을 그대로 활용

이를 통해 대규모 학습 데이터 없이도 3D 의료 영상에서 높은 수준의 이상 탐지 성능을 달성했다.

향후 연구 방향은 다음과 같다.

• 다중 모달(CT, PET 등) 통합: 현재는 MRI에 국한되었지만, 동일한 토크나이제이션 파이프라인을 다른 영상 모달에 적용해 멀티‑모달 이상 탐지를 탐색한다.
• 동적 토큰 크기: 병변 크기에 따라 가변적인 토큰 해상도를 도입해 작은 병변 탐지 능력을 보완한다.
• 실시간 임상 적용: 현재 4 초/볼륨 수준이지만, 경량화된 인코더와 GPU 최적화를 통해 실시간 진단 보조 시스템으로 확장한다.

본 논문의 결과는 학습 비용 없이도 대규모 의료 영상 데이터베이스에서 이상을 탐지할 수 있는 새로운 길을 제시한다는 점에서 의미가 크다. 앞으로도 파운데이션 모델과 배치 기반 통계의 결합을 통해 다양한 의료 영상 분야에 적용 가능한 제로샷 솔루션을 개발해 나갈 것이다.