다중스케일 벡터양자화 변분오토인코더를 이용한 내시경 영상 합성

초록

**
본 논문은 무선 캡슐 내시경(WCE) 영상의 다양성과 희소성을 보완하기 위해, 다중스케일 특징 추출과 잔차 연결을 결합한 새로운 VQ‑VAE 구조인 MSVQ‑VAE를 제안한다. 조건부 생성 방식을 통해 정상 영상에 폴립, 혈관 병변, 염증 등 다양한 병변을 자연스럽게 삽입할 수 있으며, 합성된 이미지로 학습한 임상 의사결정지원(CDS) 분류기의 성능이 실제 데이터만으로 학습한 경우와 동등함을 실험적으로 입증한다.

**

상세 분석

**
본 연구는 기존 GAN 기반 합성 방법이 훈련 불안정성, 모드 붕괴, 병변 다양성 재현의 한계에 직면한다는 점을 지적하고, VAE 기반 접근이 연속형 잠재공간의 표현력 제한으로 고해상도·다양한 병변 재현에 어려움을 겪는다는 문제점을 파악한다. 이를 해결하기 위해 저자는 VQ‑VAE의 이산형 코드북을 활용하면서, 세 가지 스케일(3×3, 5×5, 7×7)의 컨볼루션을 동시에 적용하는 다중스케일 블록(MSB)을 설계하였다. MSB는 각 스케일에서 동일한 수의 피처를 추출하고, 이를 깊이 차원에서 concat한 뒤 1×1 포인트와 3×3 컨볼루션으로 압축한다. 이러한 구조는 작은 데이터셋에서도 풍부한 지역·전역 정보를 보존한다.

또한, MSB 전체를 건너뛰는 잔차 연결을 도입해 그래디언트 소실을 방지하고, 고수준 특징이 깊은 계층까지 전달되도록 하였다. 잠재공간은 EMA(Exponential Moving Average) 기반 코드북 업데이트를 사용해, 작은 배치에서도 코드북 붕괴를 방지하고 안정적인 학습을 가능하게 한다. 손실 함수는 재구성 MSE와 커밋먼트 손실의 가중합으로 구성되어, 이산화 과정에서 발생할 수 있는 정보 손실을 최소화한다.

조건부 생성은 병변 라벨을 코드북 인덱스에 매핑하는 방식으로 구현된다. 즉, 정상 이미지의 잠재코드에 원하는 병변 라벨에 대응하는 코드 시퀀스를 삽입함으로써, 병변이 자연스럽게 합성된다. 실험에서는 폴립, 혈관 병변, 염증 세 종류를 대상으로 224×224 해상도의 고품질 이미지를 생성했으며, 생성 이미지의 품질을 정량적으로 평가하기 위해 KID(Kernel Inception Distance)와 시각적 평가를 수행하였다.

가장 중요한 검증은 합성 데이터를 이용해 훈련한 CDS 분류기의 성능이다. 실제 WCE 데이터만으로 학습한 베이스라인과 비교했을 때, 합성 이미지만으로 학습한 모델이 거의 동일한 정확도·민감도·특이도를 보였으며, 실제 데이터와 합성 데이터를 혼합했을 때는 오히려 소량의 실제 데이터만으로는 얻기 어려운 일반화 향상이 관찰되었다. 이는 MSVQ‑VAE가 병변 다양성을 효과적으로 보강함을 의미한다.

마지막으로, 저자는 제안 모델이 의료 영상 외에도 조직학, 병리학 등 다양한 멀티스케일·다양성 요구가 있는 의료 멀티미디어 분야에 적용 가능함을 강조한다.

**