블라인드 초음파 영상 향상을 위한 물리 기반 자기지도 학습 프레임워크

초록

본 논문은 초음파 B‑mode 영상의 멀티플리케이티브 스페클, 시스템 PSF에 의한 블러, 스캐너·오퍼레이터에 따른 아티팩트를 동시에 제거하는 블라인드·자기지도 학습 방법을 제안한다. 실제 초음파 프레임에서 회전·크롭한 패치를 추출하고, 가우시안 PSF와 공간 가우시안 노이즈 혹은 복소 푸리에 도메인 교란을 적용해 합성 입력을 만든 뒤, 비국소 저계수(NLLR) 필터링으로 얻은 ‘클린‑유사’ 타깃과 함께 Swin‑Conv‑U‑Net을 ℓ1 손실로 학습한다. 다양한 공개 초음파 데이터셋(UDIA‑T, JNU‑IFM, XPIE‑Set‑P)과 700장의 PSFHS 테스트셋에서 기존 MS‑ANN, Restormer, DnCNN 대비 PSNR·SSIM이 1‑5 dB, 0.05‑0.20 점 향상되었으며, 해상도 회복(FWHM 감소, Gradient 증가)과 세그멘테이션 Dice 점수 상승도 입증한다.

상세 분석

이 연구는 초음파 영상 복원에서 가장 흔히 마주치는 세 가지 물리적 저해요소—스페클 노이즈, 시스템 PSF에 의한 블러, 그리고 스캐너·오퍼레이터에 특화된 비선형 왜곡—를 동시에 모델링하고, 이를 기반으로 자기지도 학습을 수행한다는 점에서 혁신적이다.

① 물리‑가이드 손상 모델: 원본 패치 ˜I에 대해 (a) 가우시안 커널 h_k(σ_b)로 블러를 적용하고, (b) 두 종류의 노이즈를 순차적으로 주입한다. 첫 번째는 공간적 가우시안 노이즈(N(0,σ_g²))로 열·수신 잡음을 모사하고, 두 번째는 복소 푸리에 도메인 교란 γ_f·F(˜I)+(1−γ_f)·ζ 로 위상·진폭 변동을 재현한다. γ_f와 σ_g를 균등 분포에서 샘플링함으로써 다양한 강도의 손상을 랜덤하게 생성한다. 특히 블러→노이즈와 노이즈→블러 순서를 확률적으로 전환(>55% 블러→노이즈)함으로써 모델이 특정 손상 순서에 과적합되는 것을 방지한다.

② 클린‑유사 타깃 생성: 초음파는 실제 ‘클린’ 이미지가 존재하지 않으므로, 비국소 저계수(NLLR) 필터링을 적용해 저노이즈·저블러 버전을 I_t = D_NLLR(I) 로 만든다. NLLR은 패치 간 유사성을 활용해 저차원 저계수 구조를 복원하므로, 기존 비지도 방법인 Noise2Void·Noise2Self보다 더 풍부한 구조 정보를 제공한다. 자연 이미지 실험에서는 원본을 그대로 타깃으로 사용해 두 도메인 간 학습 전이를 검증한다.

③ 네트워크 설계 – Swin‑Conv‑U‑Net: Swin‑Transformer 기반의 U‑Net( SC‑UNet )을 채택해 로컬 컨볼루션과 전역 셀프‑어텐션을 하이브리드한다. 핵심인 Hybrid Swin‑Conv 블록은 채널을 절반씩 나누어 3×3 Conv‑ReLU‑3×3 잔차 경로와 Shifted‑Window MSA 경로를 병렬 처리하고, 1×1 Conv 로 재통합한다. 이는 스페클과 같은 고주파 잡음에 강인한 로컬 특징을 유지하면서, 긴 거리 의존성을 캡처해 해상도 회복에 기여한다. 또한, U‑Net 구조에서 concat 대신 additive skip 연결을 사용해 메모리 효율성을 높이고, 최종 출력에 stem‑feature residual을 더해 미세 디테일을 보존한다.

④ 학습 및 손실: ℓ1 손실 L(θ)=‖f_θ(I_d)−I_t‖₁을 사용해 픽셀‑레벨 차이를 최소화한다. ℓ1은 PSNR·SSIM을 동시에 향상시키는 경향이 있어, 특히 스페클과 같은 비가우시안 잡음에 대해 MSE 기반 ℓ2보다 안정적이다. 학습은 4000 epoch, LR=1e‑4, 배치 16으로 진행되며, 입력은 64×64 패치로 랜덤 회전·크롭 후 64의 배수로 패딩한다.

⑤ 실험 결과:

• 정량적: PSFHS 테스트셋(700장)에서 Gaussian noise σ_g=0.2, speckle 강도 γ_f=0.2일 때, 제안 모델은 PSNR 31.2 dB / SSIM 0.92를 기록했으며, Restormer(27.8 dB/0.78), DnCNN(26.5 dB/0.73)보다 각각 3‑5 dB, 0.14‑0.19 SSIM 포인트 우위다.
• 해상도: FWHM이 평균 1.8 px 감소하고, GradMean/GradMax이 0.07/0.32 상승해 엣지 보존과 세부 복원이 눈에 띄게 개선되었다.
• 다운스트림: 전처리 후 fetal head와 pubic symphysis 세그멘테이션 UNet에 적용했을 때 Dice가 각각 0.86→0.91, 0.78→0.84로 상승, 향상된 이미지 품질이 실제 임상 작업에 긍정적 영향을 미침을 입증한다.

⑥ 일반화 및 한계: 다양한 스캐너·프로브(Siemens, Y‑Probe)와 서로 다른 해부 부위(유방, 산과)에서 동일한 모델을 사용했음에도 일관된 성능 향상이 관찰되었다. 그러나 현재는 2D B‑mode에만 적용되며, 채널 데이터(원시 RF) 활용이나 3D 볼륨 복원에 대한 확장은 향후 연구 과제로 남는다. 또한, NLLR 타깃이 완전한 ‘클린’이 아니므로, 극단적인 저신호 영역에서는 잔여 잡음이 남을 가능성이 있다.

전반적으로, 물리‑가이드 손상 모델과 자기지도 학습을 결합한 이 접근법은 초음파 영상 복원에서 기존 감독‑기반·단일‑노이즈 모델을 뛰어넘는 성능을 보이며, 실제 임상 파이프라인에 바로 적용 가능한 실용성을 갖춘다.