통합 Mamba 기반 시각 주목 객체 검출 프레임워크 Samba+

초록

Samba+는 최신 상태공간 모델인 Mamba를 활용해 RGB, RGB‑D, RGB‑T, 비디오, RGB‑D 비디오, 가시‑깊이‑열 영상 등 6가지 SOD 작업을 하나의 통합 모델로 처리한다. 공간 연속성을 보존하는 SNS 스캔, SGMB 블록, CAU 업샘플링, HGA 교차‑모달 어텐션, MACL 지속학습 전략을 도입해 기존 CNN·Transformer 기반 방법보다 연산 효율성과 정확도를 동시에 향상시킨다.

상세 분석

본 논문은 시각 주목 객체 검출(SOD) 분야에서 기존 CNN의 제한된 수용 영역과 Transformer의 2차 복잡도 문제를 동시에 해결하고자, 최근 주목받는 상태공간 모델(State‑Space Model, SSM)인 Mamba를 기반으로 한 완전 새로운 프레임워크를 제안한다. 핵심 아이디어는 두 단계로 나뉜다. 첫 번째는 단일 모달·다중 모달 모두에 적용 가능한 기본 디코더인 Samba를 설계하는 것이며, 두 번째는 이러한 Samba를 다중 과제와 다중 입력 모달리티에 대해 공동 학습시켜 하나의 범용 모델인 Samba+를 구현하는 것이다.

Samba의 핵심 구성 요소는 ‘Saliency‑guided Mamba Block(SGMB)’과 ‘Context‑aware Upsampling(CAU)’이다. SGMB는 기존 Mamba가 2D 특성 맵을 고정된 순서(‘Z’, ‘S’, 대각선 등)로 1D 시퀀스로 변환하는 과정에서 발생하는 공간 연속성 손실을 보완한다. 저자들은 ‘Spatial Neighborhood Scanning(SNS)’ 알고리즘을 도입해, 인접한 패치가 순차적으로 스캔되도록 경로를 동적으로 생성한다. 이렇게 하면 연속적인 salient 영역이 1D 시퀀스 상에서도 인접하게 배치되어, SSM이 장거리 의존성을 학습하면서도 지역적 연속성을 유지한다. 이는 특히 물체가 가려지거나 배경과 색상이 유사한 경우에 강인한 특징 표현을 가능하게 한다.

CAU는 기존 디코더가 저해상도 피처를 단순 최근접 보간으로 업샘플링하고, 고해상도 피처와 결합하는 방식의 한계를 극복한다. 저자들은 ‘패치 페어링 및 순서 지정’ 방식을 도입해 얕은 레이어와 깊은 레이어의 패치를 짝지어 서브시퀀스로 만든 뒤, 이를 하나의 시퀀스로 연결해 SSM에 입력한다. SSM은 인과적 예측을 통해 깊은 레이어가 얕은 레이어의 데이터 분포를 학습하고, 이를 기반으로 고해상도 형태로 확장한다. 결과적으로 계층 간 정렬 오류가 감소하고, 컨텍스트 의존성을 고려한 정교한 업샘플링이 이루어진다.

Samba+는 위의 두 모듈을 유지하면서, 다중 모달·다중 과제 학습을 위한 두 가지 추가 메커니즘을 도입한다. 첫 번째는 ‘Hub‑and‑Spoke Graph Attention(HGA)’이다. 각 모달리티를 ‘spoke’ 노드로 보고, 학습 가능한 ‘hub’ 노드가 이들을 동적으로 집계·전파한다. 이 구조는 기존의 고정된 융합 방식과 달리, 입력 모달리티 수와 조합이 바뀌어도 동일한 네트워크 구조를 그대로 사용할 수 있게 해 파라미터 효율성을 크게 높인다. 두 번째는 ‘Modality‑Anchored Continual Learning(MACL)’이다. MACL은 각 모달리티별로 별도 앵커 파라미터를 유지하면서, 공동 학습 시 발생하는 모달리티 간 간섭과 재학습 시 발생하는 망각(catastrophic forgetting)을 완화한다. 구체적으로, 모달리티별 손실을 정규화하고, 이전 과제에 대한 지식 손실을 최소화하는 KL‑divergence 기반 제약을 추가한다.

실험 결과는 설득력 있다. Samba는 22개의 데이터셋에 걸쳐 6가지 SOD 작업에서 기존 최첨단 모델들을 모두 능가했으며, 연산량(FLOPs)과 파라미터 수에서도 현저히 낮았다. Samba+는 단일 모델로 모든 작업을 동시에 수행하면서도 개별 최첨단 모델 수준 이상의 성능을 기록했다. 특히 가시‑깊이‑열(VDT) 조합, RGB‑D 비디오 등 복합 모달리티 상황에서 기존 프롬프트 기반 혹은 모달리티‑특정 융합 방식보다 큰 격차를 보였다. 추가 실험으로 카모플라주 객체 검출과 피부 병변 분할 같은 ‘공간 연속성 강조’ 작업에서도 우수한 성능을 입증, SNS와 SGMB가 실제로 공간 연속성을 보존하는 데 기여함을 확인했다.

전반적으로 이 논문은 SSM을 비전 분야, 특히 SOD에 적용한 최초 사례이며, ‘스캔 전략 재설계 → 계층 정렬 → 다중 모달 공동 학습’이라는 일련의 설계 원칙을 통해 효율성과 정확성을 동시에 달성한 점이 혁신적이다. 향후 다른 저해상도 세그멘테이션, 의료 영상, 로봇 비전 등에서도 동일한 프레임워크를 확장할 가능성이 높다.