언어와 이벤트를 연결한 세그멘테이션, SEAL

초록

SEAL은 이벤트 카메라 스트림에 자유형 텍스트 프롬프트를 결합해 객체·부위 수준의 인스턴스 마스크를 생성하고, 오픈 보카뷸러리 분류까지 수행하는 최초의 프레임워크이다. 멀티모달 계층형 의미 가이던스(MHSG)와 경량 멀티모달 퓨전 네트워크를 도입해 파라미터 효율성을 유지하면서도 기존 베이스라인 대비 높은 정확도와 빠른 추론 속도를 보인다. 네 가지 레이블·시맨틱 그라뉼러리티 벤치마크를 구축해 포괄적인 평가를 수행한다.

상세 분석

본 논문은 이벤트 센서 기반 비전이 갖는 고속·고다이내믹 레인지·저전력 특성을 활용하면서, 기존 이미지 기반 오픈 보카뷸러리 세그멘테이션 연구를 이벤트 도메인에 확장한다는 점에서 의미가 크다. 핵심 기여는 두 가지 모듈에 있다. 첫 번째인 멀티모달 계층형 의미 가이던스(MHSG)는 사전 학습된 이미지 비전‑언어 모델(SAM·CLIP)을 이용해 이미지에서 의미‑인스턴스‑부위 수준의 마스크를 추출하고, 이를 이벤트 스트림에 정렬한다. 이렇게 얻은 계층적 마스크 집합은 이벤트 백본이 다양한 수준의 의미 정보를 동시에 학습하도록 유도한다. 두 번째인 경량 멀티모달 퓨전 네트워크는 백본 피처 인핸서, 공간 인코딩, 마스크 피처 인핸서의 세 파트로 구성된다. 백본 피처 인핸서는 텍스트에서 추출한 의미 프라이어를 이벤트 피처에 직접 주입해 텍스트‑이벤트 정렬을 강화하고, 공간 인코딩은 이미지 기반 SAM의 공간 구조를 이벤트 피처에 매핑해 위치 정보를 보존한다. 마지막 마스크 피처 인핸서는 이러한 의미·공간 프라이어를 결합해 마스크별 CLIP‑정렬 피처를 생성, 이를 통해 오픈 보카뷸러리 분류를 수행한다.

학습 단계에서는 이벤트‑이미지 쌍만을 사용해 지도‑프리 방식으로 진행한다. 이벤트 스트림은 다양한 표현(볼류메트릭 그리드, 재구성 프레임 등)으로 변환되고, 이미지와 동시 입력돼 MHSG가 제공하는 마스크와 텍스트 임베딩을 통해 손실을 최적화한다. 이 과정에서 별도의 밀집 라벨이 필요 없으며, 따라서 대규모 이벤트 데이터셋 구축 비용을 크게 절감한다.

벤치마크 설계도 주목할 만하다. 저자는 라벨 그라뉼러티(코스에서 파인)와 시맨틱 그라뉼러티(인스턴스‑부위) 두 축을 결합한 네 가지 평가 세트를 제안한다. 이는 기존 이벤트 세그멘테이션 연구가 주로 단일 클래스 혹은 시맨틱 레벨에 머물렀던 한계를 넘어, 실제 응용에서 요구되는 다중 객체·다중 부위 인식 능력을 정량화한다.

실험 결과 SEAL은 제안된 베이스라인(AR‑CDG, AF‑DA, Hybrid) 대비 평균 8~12% AP 향상을 보이며, 파라미터 수는 30% 이하로 감소하고 추론 시간도 2배 이상 가속된다. 특히 부위‑레벨 질의(예: “손목에 있는 작은 센서”)에 대한 정확도가 크게 개선돼, 자유형 텍스트와 이벤트 데이터의 결합 가능성을 입증한다.

한계점으로는 현재 시점에서 시각적 프롬프트(이미지 기반 마스크)와 텍스트 프롬프트를 동시에 요구한다는 점이다. 저자는 부록에서 프롬프트‑프리 버전을 제시했지만, 본 논문에서는 아직 완전 자동화된 스파티오템포럴 오픈 보카뷸러리 인스턴스 세그멘테이션을 구현하지 못했다. 또한, 이벤트‑이미지 정렬 과정에서 발생할 수 있는 시계열 비동기성 문제와 재구성 노이즈가 성능에 미치는 영향에 대한 정량적 분석이 부족하다. 향후 연구에서는 이러한 정렬 오류를 보정하는 시계열 어텐션 메커니즘이나, 완전한 텍스트‑주도형 마스크 생성 모델을 탐색할 여지가 있다.

전반적으로 SEAL은 이벤트 비전 분야에 오픈 보카뷸러리 인스턴스·부위 수준 세그멘테이션을 처음으로 도입했으며, 멀티모달 학습 설계와 효율적인 아키텍처를 통해 실용성을 크게 높였다. 이는 향후 로봇, 자율주행, AR/VR 등 고속·저조도 환경에서 텍스트 기반 인터랙션을 구현하는 데 중요한 기반이 될 것으로 기대된다.