컨텍스트 얽힌 객체 분할을 위한 커리큘럼 선택과 반커리큘럼 촉진

초록

본 논문은 배경과 객체가 시각적 패턴을 공유하는 컨텍스트 얽힌 콘텐츠 분할(CECS) 문제에 대해, 학습 과정을 두 단계로 나누는 CurriSeg 프레임워크를 제안한다. 첫 단계에서는 샘플 손실의 시간적 통계와 픽셀‑레벨 불확실성을 이용해 ‘hard‑but‑informative’ 데이터를 선별·가중하고, 두 번째 단계에서는 고주파 성분을 억제하는 Spectral‑Blindness Fine‑Tuning(SBFT)으로 모델이 저주파 구조와 문맥에 의존하도록 강제한다. 구조 변경 없이 기존 세그멘테이션 네트워크에 적용 가능하며, 다양한 CECS 벤치마크에서 파라미터·학습 시간 증가 없이 일관된 성능 향상을 보였다.

상세 분석

CurriSeg은 CECS와 같이 객체와 배경이 시각적 패턴을 공유해 텍스처 편향이 쉽게 발생하는 상황에서, 기존의 ‘쉬운 → 어려운’ 커리큘럼이 오히려 모델을 잘못된 shortcut에 머무르게 만든다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 제안된 ‘Robust Curriculum Selection(RCS)’ 단계는 두 가지 핵심 메커니즘을 결합한다. 첫째, 매 epoch마다 현재 모델의 예측 IoU를 기반으로 샘플 난이도 d_i를 계산하고, 이를 누적 버퍼에 저장해 평균(µ_i)과 분산(σ_i²)이라는 시간적 통계량을 얻는다. 평균이 높고 분산이 낮은 경우는 라벨 오류나 데이터 이상치로 판단해 가중치를 크게 낮추고, 평균이 높지만 분산이 높은 경우는 모델이 아직 학습 중인 ‘hard‑but‑informative’ 샘플로 간주해 높은 가중치를 부여한다. 이러한 가중치 ω_i는 식 (5)에서 최소 가중치 하한 Ws_min과 함께 곱해져, 학습 초기에 노이즈 샘플이 과도히 영향을 미치는 것을 방지한다. 둘째, 픽셀‑레벨에서는 예측 확률의 엔트로피 H_{h,w}를 이용해 불확실한 영역에 대한 가중치를 동적으로 감소시킨다. β(t)는 커리큘럼 진행에 따라 점차 감소해, 초기에는 불확실한 경계 픽셀을 억제하고, 학습이 진행될수록 전체 픽셀에 대한 supervision을 복구한다. 이러한 이미지‑레벨과 픽셀‑레벨 커리큘럼을 결합한 손실 L_curr은 BCE와 IoU를 가중합한 형태로, 기존 세그멘테이션 손실에 최소한의 수정만으로 적용 가능하다.

두 번째 ‘Anti‑Curriculum Promotion(ACP)’ 단계에서는 모델이 고주파 텍스처에 과도히 의존하는 현상을 의도적으로 깨뜨린다. 입력 이미지 x_i에 2‑D 푸리에 변환을 수행한 뒤, 반경 비율 r=0.95인 원형 마스크 M_r을 적용해 고주파 성분을 차단하고 저주파 성분만을 복원한다(식 9‑10). 이렇게 변형된 이미지 ˜x_i를 다시 네트워크에 입력함으로써, 모델은 저주파 구조(경계, 형태, 전역 문맥)만을 활용해 예측하도록 강제된다. 이 과정은 파라미터를 추가하지 않으며, 학습 스케줄의 후반부에만 적용돼 전체 학습 비용에 큰 영향을 주지 않는다.

실험 결과는 CurriSeg이 다양한 CECS 데이터셋(COD10K, CHAMELEON, NC4K 등)과 여러 백본(ResNet‑50, Transformer 등)에서 파라미터 수와 학습 시간은 동일하게 유지하면서도 평균 2‑3%p의 성능 향상을 달성함을 보여준다. 특히 ‘easy’ 샘플에만 의존하던 기존 모델이 고주파 텍스처에 과도히 민감했던 점을 SBFT가 효과적으로 보완한다는 점이 눈에 띈다.

이 논문의 주요 강점은 (1) 샘플 난이도를 정적 기준이 아니라 시간적 손실 변동성으로 동적으로 판단함으로써 노이즈와 진정한 어려움을 구분한다, (2) 픽셀‑레벨 불확실성을 커리큘럼에 자연스럽게 통합해 경계 학습을 안정화한다, (3) 고주파 억제라는 반커리큘럼을 도입해 모델의 일반화 능력을 구조적으로 강화한다는 점이다. 한편, 현재 구현은 2‑단계 스케줄을 고정된 epoch 비율로 나누는데, 데이터 특성에 따라 보다 유연한 전이 시점을 탐색할 여지가 있다. 또한, 고주파 차단이 지나치게 강하면 미세한 디테일이 필요한 일부 도메인(예: 의료 영상)에서는 성능 저하 위험이 존재한다. 향후 연구에서는 자동화된 전이 시점 탐지와 도메인‑별 주파수 마스크 최적화를 통해 이러한 한계를 보완할 수 있을 것이다.