주파수 기반 초음파 영상 경계 인식 분할을 위한 FreqDINO

초록

FreqDINO는 자연 이미지에 사전학습된 DINOv3를 초음파 영상에 맞게 변형하기 위해 주파수 도메인 분해와 경계 강화 모듈을 도입한 프레임워크이다. 다중 스케일 하르 웨이블릿 변환으로 저주파 구조와 고주파 경계 정보를 분리하고, 학습 가능한 어텐션으로 정렬한다. 고주파에서 추출한 경계 프로토타입을 이용해 공간 특징을 교차 어텐션으로 정제하며, 경계‑마스크 이중 헤드 디코더로 경계와 의미 예측을 공동 최적화한다. BUSI와 TN3K 데이터셋에서 기존 최첨단 방법들을 크게 앞서며, 특히 제로샷 일반화에서 뛰어난 성능을 보인다.

상세 분석

본 논문은 초음파 영상 특유의 잡음과 경계 흐림 현상을 해결하기 위해, 기존 비전 트랜스포머 기반 자기지도 학습 모델인 DINOv3의 한계를 주파수 도메인 관점에서 보완한다는 점에서 혁신적이다. 첫 번째 핵심 기여는 Multi‑scale Frequency Extraction and Alignment (MFEA) 모듈이다. 저자들은 하르 웨이블릿 변환을 두 단계 스케일(원본 해상도와 다운샘플링된 해상도)에서 적용해 입력 특징을 저주파 구조(F_L)와 세 종류의 고주파 성분(F_LH, F_HL, F_HH)으로 분리한다. 이때 1×1 컨볼루션을 이용해 차원 축소 후, 경계‑구조 어텐션(A_b, A_s)을 경량 네트워크로 학습시켜 두 종류의 정보를 가중합(α, β)하고, 잔차 방식으로 원본 특징에 재통합한다. 이렇게 하면 고주파 경계 디테일이 저주파 구조와 조화롭게 결합돼, 초음파 특유의 미세 경계가 손실되지 않는다.

두 번째 기여는 Frequency‑Guided Boundary Refinement (FGBR)이다. MFEA에서 얻은 고주파 특징들을 다시 한 번 압축해 64‑차원의 경계 프로토타입을 만든 뒤, 이를 키‑밸류 쌍으로 사용해 강화된 공간 특징(F_enh)과 교차 어텐션을 수행한다. 8‑head, 각 헤드 128‑차원의 어텐션을 통해 고주파 경계 정보를 전역적으로 전파하고, 학습 가능한 스칼라 ω로 잔차 결합한다. 이 설계는 고주파 경계가 전역적인 맥락과 결합돼, 잡음에 강인하면서도 세밀한 경계 복원을 가능하게 한다.

세 번째 핵심은 Multi‑task Boundary‑Guided Decoder (MBGD)이다. FGBR에서 정제된 특징을 4단계 전치 컨볼루션 업샘플링으로 공유 특징(F_shared)으로 만든 뒤, 먼저 1×1 컨볼루션으로 경계 맵(M_boundary)을 예측한다. 경계 맵을 시그모이드 활성화 후 3×3 컨볼루션으로 경계 특징(F_boundary)으로 변환하고, 이를 공유 특징과 concatenate해 최종 마스크(M_mask)를 출력한다. 이렇게 경계를 먼저 예측하고 마스크에 피드백함으로써, 경계와 의미 영역 사이의 공간 일관성을 강제한다. 손실 함수는 마스크와 경계에 대한 BCE를 가중합(λ_b)으로 결합해 다중 과제 학습을 수행한다.

실험 설계도 꼼꼼하다. BUSI(유방 초음파)와 TN3K(갑상선 초음파) 두 데이터셋을 사용해 인‑도메인 성능과 제로샷 일반화 능력을 동시에 평가한다. DINOv3‑Large를 frozen encoder로 두고, 어댑터만 학습함으로써 파라미터 효율성을 유지한다. 결과는 Dice, mIoU, Hausdorff Distance 세 지표에서 기존 U‑Net 계열, nnU‑Net, 최신 SAM·SAM2 기반 모델들을 모두 앞선다. 특히 HD가 39.63 mm까지 감소한 점은 경계 정밀도가 크게 향상됐음을 의미한다. Ablation study에서는 MFEA만 적용해도 Dice 2.21 % 상승, HD 3 mm 감소를 보이며, FGBR와 MBGD를 차례로 추가했을 때 각각 추가적인 이득이 확인된다. 이는 제안된 주파수‑경계 파이프라인이 서로 보완적으로 작용한다는 증거다.

한계점도 존재한다. 고주파 성분을 추출하기 위해 하르 웨이블릿을 사용했지만, 다른 변환(예: 라플라시안 피라미드, DCT)과의 비교가 부족하다. 또한 경계 라벨을 자동 생성했기 때문에 경계 주석의 품질이 실제 임상 적용에 영향을 미칠 수 있다. 파라미터 λ_b와 α, β, λ 등의 초기값을 0으로 고정했는데, 이들 하이퍼파라미터가 데이터셋마다 최적화될 여지가 있다. 마지막으로, 현재는 2D 초음파 영상에만 적용했으며, 3D 혹은 시간 연속성을 갖는 초음파 시퀀스에 대한 확장 연구가 필요하다.

종합하면, FreqDINO는 주파수 도메인 정보를 명시적으로 활용해 DINOv3의 강력한 표현력을 초음파 영상의 특수한 경계 인식 문제에 맞게 변형한 모델이다. 다중 스케일 주파수 분해, 경계‑구조 어텐션 정렬, 경계 프로토타입 기반 교차 어텐션 정제, 그리고 경계‑우선 디코더라는 네 단계 설계가 서로 시너지 효과를 내어, 기존 방법 대비 뛰어난 정확도와 일반화 능력을 달성한다. 향후 다양한 의료 영상 모달리티와 3D/시계열 데이터에 적용한다면, 주파수 기반 적응 전략이 의료 영상 분석 전반에 새로운 패러다임을 제시할 가능성이 있다.