해부학적 구조들, 예를 들어 간, 신장, 심장, 뇌종양 같은 병리학적 부위의 정확한 분할은 MRI에서 진단, 치료 계획 수립, 질병 진행 모니터링에 필수적이며 의사들이 환자의 상태를 종합적으로 평가하고 정보에 입각한 결정을 내릴 수 있게 합니다. 이 작업은 일반적으로 방사선과나 의료진이 수작업으로 수행하므로 시간이 많이 걸리고 일관성이 떨어집니다. 효율성 및 일관성을 개선하기 위해 AI 기반의 자동화된 분할 방법에 대한 관심이 크게 증가하고 있습니다.

인공지능(AI)과 딥 뉴럴 네트워크(DNNs), 특히 변환기 구조를 사용한 모델은 일반적인 이미지 분석에서 혁신을 이끌어냈습니다. 그러나 이러한 모델을 의료 이미징에 직접 적용하는 것은 여러 가지 도전 과제가 있습니다: 이러한 모델들은 학습 및 추론 모두에 대규모 연산 자원이 필요하며, 그 학습은 대규모 주석 데이터에 대한 접근에 크게 의존합니다. 특히 3D 볼륨의 경우 임상 전문가들에 의해 수작업으로 마스크를 생성하는 것은 비용이 많이 들고 시간이 오래 걸립니다.

가상 데이터를 생성하는 생성 모델은 데이터 및 주석 부족 문제에 대한 유망한 해결책을 제공하지만, 그 임상적 채택에는 철저한 검증과 규제 준수 요구사항이 있습니다. 전통적인 데이터 증강 기법은 회전, 확대/축소, 강도 조정 등을 포함하고 있지만 실제 임상 특징을 정확히 포착하지 못하는 경우가 있어 모델의 신뢰성을 저하시킬 수 있습니다.

의료 이미지 분할에서는 정확한 경계 선정이 중요하며, 작은 위치 오차는 수술 사고로 이어질 수 있는 심각한 임상적 결과를 초래합니다. 일반적으로 사용되는 손실 함수, 예를 들어 크로스 엔트로피와 디스코스손실은 모든 픽셀을 동일하게 처리하며 경계 영역을 충분히 강조하지 못해 경계에서의 분할 정확도가 제한됩니다.

style="width:100.0%" />

개인 정보 보호 및 자원 효율적인 의료 AI의 필요성에 의해, 본 논문은 단일 환자의 3D 볼륨에서 얻은 미표시 슬라이스가 높은 정확도의 분할을 위한 필요한 맥락을 제공한다는 가설을 제시합니다. 우리는 임무 인식 추론 메커니즘이 이러한 미표시 슬라이스의 내재된 구조적 일관성을 활용하여 경량 모델이 최고 수준(SOTA) 방법과 비교 가능한 성능을 달성할 수 있도록 한다는 가설을 제안합니다. 따라서 우리는 Cross-Domain Few-Shot Segmentation (CDFSS)에 대한 새로운 프레임워크를 제시하며, 우리의 공식은 전통적인 소 샷 학습(FSL) 요구 사항을 완화하여 3D 의료 볼륨의 내재된 구조적 일관성을 활용합니다. 이는 모델이 자연 이미지에서 일반화 가능한 prior를 ‘학습하기 위한 학습’하고, 환자별 특유의 해부학적, 텍스처 및 강도 맥락을 사용하여 의료 영상 도메인에 적응하도록 합니다.

우리의 프레임워크 FALCON (Few-Shot Adversarial Learning for Cross-Domain Medical Image Segmentation)은 기존의 정교화와 기능적인 FSL을 통합합니다. 이 통합은 정교화가 FSL 작업에서 성능을 향상시키는 증거에 의해 동기 부여되었습니다.

• 미표시 지원 통합: 네트워크 병목 지점 내부의 관계 모듈 (RM)을 사용하여 쿼리 특징과 미표시 지원 특징 사이의 유사성을 계산합니다. 이를 통해 지원 세트는 환자별 적응을 위한 ‘시각적 프롬프트’로 간주됩니다.

• 경계 인식 적대적 정교화 (BAAF): 표준 영역 기반 손실(Dice 등)을 넘어서, Hausdorff 거리(HD) 손실을 도입하여 높은 기하학적 정확도를 보장합니다. 또한 정교화 중에 적대 학습 전략을 사용하며, 판별자는 미표시 슬라이스에서 예측된 마스크가 실제 마스크와 해부학적으로 타당하고 분포적으로 일관성을 유지하도록 합니다.

• 임무 인식 추론: 테스트 시에 효율적인 추론을 수행하여 전체 3D 볼륨을 분할합니다. 이 모델은 동일한 스캔에서 몇 가지 미표시 슬라이스를 기반으로 예측을 조건화하고, 추가 경사하강 업데이트 없이 정밀한 경계 선정을 달성합니다.

이 경량 프레임워크는 개인 정보 보호 및 로컬 배포에 설계되어 대규모 주석과 클라우드 기반 AI 서비스의 의존성을 줄입니다.

관련 연구

크로스 도메인 소 샷 학습(CDFSL)

많은 실제 응용 프로그램에서 FSL의 전형적인 가정이 위배되며, 훈련 및 테스트 도메인 간의 데이터 분포가 크게 다를 수 있습니다. CDFSL은 이러한 문제를 해결하기 위해 기본 클래스와 새로운 클래스를 두 가지 다른 데이터 분포로 명시적으로 모델링합니다.

CDFSL에 대한 가장 독특한 정의 중 하나는 도메인 적응, 도메인 일반화, 멀티태스킹 학습 및 전통적인 FSL과 구분하는 것을 제공하며, 이는 우리의 문제 정의에서 채택됩니다. 여러 접근법이 제안되었는데 데이터 또는 특징 기반 증강이나 적응, 작업 시나리오 합성, 지식 도입 및 규제 등이 있습니다.

본 연구는 특히의 결과에 의해 동기 부여되었습니다: 그들은 CDFSL 벤치마크에서 전통적인 FSL 방법보다 정교화가 더 우수한 성능을 보였으며 이 벤치마크는 근접 도메인부터 먼 도메인 설정까지 다양한 데이터셋을 다룹니다. 또한, 우리의 연구는 자급자족 학습을 통해 출처 및 대상 도메인 간의 격차를 줄이기 위해 미표시 데이터를 활용하는 연구와 밀접하게 일치합니다. 그러나 우리의 접근법은 정교화 단계에서 미표시 데이터를 지원 예로 사용한다는 점에서 다릅니다.

특히 의료 영상 분야에서는 FAMNet이라는 주파수 매칭 네트워크가 CT 및 MRI 데이터 간의 이동을 처리하기 위해 주파수 특징을 통합하여 도메인 내부와 외부 차이를 해결하려고 시도했습니다. 또한, meta-학습을 통해 가상 Siamese 네트워크를 사용해 추출된 경계선 특징과 원본 이미지의 특징으로부터 학습하는 연구가 있었습니다.

경계 분할

정확한 경계 감지를 위한 역사적 노력은 변형 가능 모델 및 지도 기반 모델을 통해 가장자리 정보 또는 영상 등록 기법을 사용하여 전역 거리 기반 손실 함수를 최소화했습니다. Hausdorff 거리(HD) 기반 prior는 복잡한 다면체 의료 이미지 분할 작업에 대응하기 위해 상호 세그먼트 제약 조건을 도입했지만, 이들 prior는 한정된 해결책 집합에 의존하므로 전역 최적화를 보장하지 않습니다. Hausdorff 거리를 활용한 새로운 differential loss를 도입하여 신경망을 통해 HD를 직접 최소화할 수 있게 했습니다.

이 연구에서는 클래스 불균형 문제를 완화하기 위해 가중 정규화 경계 손실을 제안했습니다. 이에 반해, 경계선 손실은 Dice 손실과 달리 음의 무한대에서 양의 무한대로 범위가 확장되어 Dice 손실이 [0, 1] 범위 내에 국한되는 경우에 그 영향을 압도할 수 있습니다.

적대 학습

적대 학습은 레이블 데이터 부족 상황에서 DNNs를 훈련하는 강력한 방법으로, 특히 FSL에서 중요합니다. 이는 정규화제로서 과적합을 줄이는 데 도움을 줍니다. 간단히 말해, 적대 학습은 모델과 판별자가 경쟁하여 도메인 불변 및 더 강력한 표현을 배우도록 유도하는 최대-최소 최적화 문제를 생성합니다.

Domain-Adversarial Neural Network (DANN)에서는 그래디언트 역전 계층이 도메인 간 특징 불변성을 강제시킵니다. 의료 이미지 분야에서, 비표기 데이터와 레이블 데이터를 함께 사용하여 생물의학적 이미지 세그먼트화에 대한 연구가 있었습니다.