EReCu: 다중 단서 학습 기반 진화형 가짜 라벨 융합 및 정제 프레임워크

초록

EReCu는 교사‑학생 구조에 다중‑단서 네이티브 퍼셉션(MNP) 모듈을 결합해 텍스처와 의미 정보를 동시에 활용한다. Pseudo‑Label Evolution Fusion(PEF)와 Spectral Tensor Attention Fusion(STAF)를 통해 가짜 라벨을 단계적으로 정제하고, Local Pseudo‑Label Refinement(LPR)로 경계와 세부 텍스처를 복원한다. 다중 데이터셋 실험에서 기존 최첨단 방법들을 능가하는 성능을 보이며, 복잡한 위장 상황에서도 강인한 경계 정합성과 세부 인식을 달성한다.

상세 분석

본 논문은 비지도 위장 객체 검출(UCOD) 분야에서 두 가지 주요 병목 현상을 동시에 해결하고자 한다. 첫째, 기존 가짜 라벨 기반 방법은 고차원 임베딩에 의존하면서 이미지 고유의 저수준 시각 단서를 무시해 경계가 과도하게 확장되는 현상이 발생한다. 둘째, 라벨 없이 순수하게 특징 학습에 의존하는 접근은 텍스처 디테일을 상실하고 흐릿한 경계를 만든다. 이를 극복하기 위해 저자들은 “시멘틱‑퍼셉추얼 통합”이라는 핵심 아이디어를 제시한다.

1. Multi‑Cue Native Perception (MNP)

   • 저수준 텍스처 디스크립터(LBP, DoG)와 중간 수준 의미 피처(ResNet‑18 frozen)를 결합해 F_MNP를 구성한다.
   • 랜덤 패치 샘플링을 통해 코사인 유사도를 보정하고, 내부‑외부(D_io), 내부‑경계(D_is), 경계‑외부(S_so) 세 가지 관계를 계산한다.
   • 이들 관계를 합산한 S_mc는 전·후경계 구분 능력을 정량화하며, 1‑S_mc를 손실 L_MNP로 사용해 라벨 진화 과정에서 지속적으로 피드백한다.
   • 결과적으로 MNP는 “네이티브 이미지 단서”를 정량화해 전역 라벨과 지역 라벨 모두에 신뢰성 있는 지도 신호를 제공한다.

2. Pseudo‑Label Evolution Fusion (PEF)

   • PEF는 Evolutionary Pseudo‑Label Learning(EPL)과 Spectral Tensor Attention Fusion(STAF) 두 서브모듈로 구성된다.
   • EPL: 교사‑학생 구조에서 교사의 깊은 피처(F_{i+k}^t)와 학생의 얕은 피처(F_i^s)를 Depthwise Separable Convolution(DSC)으로 연결한다. DSC는 공간적·채널적 정제를 저비용으로 수행해 텍스처 보존에 기여한다. 이후 풀링(Pool)과 이진화(B) 과정을 거쳐 교사와 학생 각각의 가짜 마스크(M_p^t, M_p^s)와 DSC 기반 마스크(M_dsc^s)를 생성한다.
   • 라벨은 반복적인 진화 단계에서 교사의 고신뢰 마스크와 학생의 세부 강화 마스크를 교차 검증하며, L_MNP가 가중된 손실 함수에 포함돼 네이티브 단서와 일관되게 업데이트된다.
   • STAF: 여러 레이어의 어텐션 맵을 텐서 형태로 집계한 뒤, 스펙트럼 차원에서 압축(FFT 기반)하여 핵심 구조와 세부 정보를 동시에 보존한다. 이는 전역적인 시멘틱 일관성을 유지하면서도 저수준 디테일을 손실 없이 전달한다.

3. Local Pseudo‑Label Refinement (LPR)

   • LPR은 STAF에서 추출한 고신뢰 어텐션 영역을 기반으로 “Target‑Aware Local Pseudo‑Label”을 생성한다.
   • 선택된 어텐션 영역은 높은 다양성을 보이며, 이를 통해 경계 근처의 미세 텍스처와 작은 객체를 복원한다.
   • LPR에서 생성된 로컬 라벨은 최종 마스크와 합성되어, 전역 라벨이 놓칠 수 있는 미세 구조를 보완한다.

4. 효율성 및 구현

   • Depthwise Separable Convolution과 스펙트럼 텐서 어텐션은 연산량을 크게 줄이며, 실시간 수준의 추론이 가능하도록 설계되었다.
   • 전체 파이프라인은 DINO 기반 교사 모델을 백본으로 사용해, 사전 학습된 강력한 이미지 표현을 그대로 활용한다.

5. 실험 및 성능

   • Camouflaged Object Detection( COD10K, CHAMELEON, CAMO 등) 및 일반적인 비지도 객체 분할 데이터셋에서 mIoU, F‑measure, E‑measure 등 다중 지표에서 기존 최첨단(UCOS‑DA, UCOD‑DPL, Sdal‑sNet, EASE 등)을 크게 앞선다.
   • 특히 경계 정확도와 텍스처 복원 측면에서 +5~8%p 이상의 개선을 보이며, 복잡한 배경·전경 혼합 상황에서도 높은 일반화 능력을 입증한다.

핵심 기여

• 네이티브 이미지 단서를 정량화하고 이를 라벨 진화와 로컬 정제에 일관되게 활용한 최초의 통합 프레임워크.
• DSC와 스펙트럼 어텐션을 결합한 효율적인 라벨 정제 메커니즘.
• 전역‑지역 피드백 루프를 통한 시멘틱·퍼셉추얼 공동 최적화.

이러한 설계는 비지도 위장 객체 검출뿐 아니라, 라벨이 부족한 다른 세그멘테이션 문제에도 확장 가능성을 시사한다.