다중시점 점진적 적응을 통한 교차도메인 소수샷 분할

초록

본 논문은 대규모 소스 도메인에서 학습된 모델을 데이터가 부족한 타깃 도메인에 효과적으로 전이하기 위해, 데이터와 학습 전략 두 측면에서 점진적으로 난이도를 높이는 “다중시점 점진적 적응(MPA)” 프레임워크를 제안한다. 하이브리드 점진적 증강(HP A)으로 점점 복잡한 변형을 가한 쿼리 뷰를 생성하고, 듀얼체인 다중시점 예측(DMP)으로 순차·병렬 두 경로에서 일관성을 강제함으로써 타깃 도메인에서의 소수샷 세그멘테이션 성능을 크게 향상시킨다. 실험 결과, 기존 최첨단 방법 대비 평균 7 % 이상의 mIoU 개선을 달성하였다.

상세 분석

본 연구는 교차도메인 소수샷 세그멘테이션(CD‑FSS)에서 두 가지 근본적인 한계, 즉 타깃 도메인의 샘플 수·다양성 부족과 소스‑타깃 간 큰 도메인 격차를 동시에 해결하고자 한다. 이를 위해 저자는 “데이터 관점”과 “전략 관점”에서 각각 점진적 접근법을 설계하였다.

데이터 관점에서는 Hybrid Progressive Augmentation(HP A)을 도입한다. HP A는 단순한 좌우 플립에서 시작해 색조 변형, 밝기 조절, 그리드 셔플 등 강력한 변형을 누적 적용함으로써, 학습 초기에 쉬운 뷰를 제공하고 적응이 진행될수록 점점 더 어려운 뷰를 생성한다. 또한, 초기에는 하나의 쿼리 뷰(N=1)만 사용하지만, 적응 단계가 진행될수록 뷰 수를 점진적으로 늘려 지원‑쿼리 대응 관계를 다중화한다. 이렇게 생성된 복합 뷰는 모델이 다양한 변형에 강인하도록 만들며, 동시에 오류 전파를 통한 학습 난이도 상승 효과를 제공한다.

전략 관점에서는 Dual‑chain Multi‑view Prediction(DMP)을 설계한다. DMP는 순차 체인과 병렬 체인 두 개의 예측 경로를 동시에 활용한다. 순차 체인에서는 지원 이미지와 첫 번째 쿼리 뷰를 기반으로 프로토타입을 만든 뒤, 이후 쿼리 뷰들의 예측을 이전 뷰의 출력에 의존하도록 연결한다. 이 과정에서 오류가 누적되므로, 각 단계마다 손실을 별도로 계산해 역전파함으로써 오류 보정을 유도한다. 병렬 체인에서는 모든 쿼리 뷰에 대해 독립적으로 “지원‑쿼리” 매칭을 수행하고, 각 뷰별 예측 결과에 대해 동일한 지도 손실을 적용한다. 두 체인의 예측은 최종적으로 일관성 손실(consistency loss)으로 결합되어, 서로 다른 난이도와 변형을 가진 뷰 간에 예측이 일치하도록 강제한다.

학습 손실은 기본 BCE 손실 외에 프로토타입 기반 코사인 유사도 손실, 순차·병렬 각각의 예측 손실, 그리고 뷰 간 일관성 손실을 가중합한 형태로 정의된다. 이러한 복합 손실 구조는 모델이 점진적으로 복잡한 변형을 학습하면서도, 각 뷰에서 발생할 수 있는 편향을 상호 보정하도록 만든다.

실험에서는 DeepGlobe, ISIC 등 서로 다른 도메인에 대해 기존 CD‑FSS 방법들과 비교했으며, HP A와 DMP를 각각 단독 적용했을 때도 성능 향상이 확인되었다. 특히 전체 MPA를 적용했을 때 mIoU 기준 평균 7 % 이상의 개선을 기록했으며, 특히 1‑shot 설정에서 다중‑shot 대비 격차를 크게 줄이는 효과가 두드러졌다.

이 논문의 핵심 기여는 (1) 제한된 타깃 데이터에서도 점진적 난이도 조절을 통해 모델의 적응성을 극대화한 데이터 증강 전략, (2) 순차·병렬 두 경로를 결합해 뷰 간 오류를 상호 보정하는 예측 전략, (3) 두 전략을 통합해 도메인 격차와 데이터 부족 문제를 동시에 완화한 통합 프레임워크를 제시한 점이다. 향후 연구에서는 HP A의 자동화된 난이도 스케줄링, DMP의 경량화, 그리고 대규모 사전학습 모델(SAM 등)과의 결합 가능성을 탐색할 여지가 있다.