관찰자 중심의 객체 현저성 탐지: 주관성 반영 새로운 패러다임

초록

본 논문은 기존의 객관적 객체 현저성 탐지(SOD)를 관찰자의 선호·의도와 같은 주관적 요인을 조건으로 삼는 관찰자 중심(SOD, OC‑SOD)으로 재정의한다. 다중모달 대형 언어 모델(MLLM) 기반의 효율적인 라벨링 파이프라인을 통해 33 k 이미지와 152 k 텍스트‑마스크 쌍을 포함한 OC‑SODBench 데이터셋을 구축하고, “Perceive‑Reflect‑Adjust” 과정을 구현한 OC‑SODAgent를 제시한다. 실험 결과, 제안 방법이 기존 SOD 및 최신 MLLM 기반 세그멘테이션 모델을 크게 능가함을 입증한다.

상세 분석

본 연구는 현저 객체 탐지(SOD)를 ‘관찰자‑중심’이라는 새로운 관점으로 전환함으로써, 기존의 단일 정답 마스크가 인간 인지의 다변성을 반영하지 못한다는 근본적 한계를 극복한다. 저자는 세 가지 관찰 모드(Free‑Viewing, Preference‑Driven, Intent‑Driven)를 정의하고, 텍스트 명령 T를 통해 이미지 I와 결합해 조건부 마스크 M을 생성하는 수식 M,D = P(I|T) 를 제시한다. 이때 T는 관찰자의 장기적 선호나 단기적 의도 등을 서술하는 자연어 프롬프트이며, D는 모델의 중간 추론 과정을 기록한다.

데이터 구축 단계에서는 기존 SOD·세그멘테이션 데이터셋을 사전 마스크로 활용하고, Qwen‑3‑VL‑Instruct·Thinking 등 최신 MLLM을 이용해 (1) 부적합 샘플 필터링, (2) 이미지 캡션 기반 자유‑시점·선호·의도 구분, (3) 관찰자 초상·의도 텍스트 생성, (4) 자동 검증, (5) 전문가 수동 큐레이션의 5단계 파이프라인을 설계한다. 이를 통해 33 k 이미지와 152 k instruction‑mask 쌍을 확보했으며, 객체 종류, 선호·의도 워드클라우드, 마스크 면적 분포 등 통계적 다양성을 확보하였다.

모델 측면에서는 MLLM이 텍스트 명령을 해석·추론한 뒤, 사전 학습된 SAMv2를 호출해 초기 세그멘테이션을 수행하고, ‘Perceive‑Reflect‑Adjust’ 루프를 통해 점진적 refinement를 진행한다. 중요한 점은 파인튜닝 없이도 기존 MLLM 대비 큰 성능 향상을 보였으며, OC‑SODBench에 대한 파인튜닝을 통해 모든 비교 모델에서 일관된 개선을 달성했다.

실험에서는 전통적 SOD 벤치마크와 달리 관찰자‑조건별 정확도, 의도 일치도, 선호 일치도 등을 다각도로 평가하였다. 특히 복합 장면(예: 빵 vs. 노트북)에서 의도·선호에 따라 다른 마스크를 정확히 예측함으로써, 기존 단일 마스크 기반 모델이 겪는 ‘ill‑posed’ 문제를 실질적으로 해소한다는 점이 돋보인다.

한계로는 현재 텍스트 프롬프트가 비교적 제한된 템플릿에 의존한다는 점, 그리고 MLLM‑SAM 연동 시 연산 비용이 높아 실시간 적용에 제약이 있다는 점을 언급한다. 향후 연구에서는 더 풍부한 관찰자 프로파일링, 경량화된 추론 파이프라인, 그리고 비디오·AR 등 연속적인 시나리오에의 확장이 기대된다.