멀티모달 OOD 탐지기 자동 선택 프레임워크 M3OOD

초록

M3OOD는 메타러닝 기반으로 멀티모달 데이터셋의 통계·분포·교차모달 특성을 메타피처와 임베딩으로 표현하고, 과거 OOD 탐지기들의 성능 기록을 학습해 새로운 데이터셋에 최적의 OOD 탐지기를 자동으로 추천한다. 12개의 테스트 시나리오에서 10개 베이스라인을 지속적으로 능가하며, 연산 비용도 낮다.

상세 분석

본 논문은 멀티모달 환경에서 OOD(Out‑of‑Distribution) 탐지기의 선택 문제를 메타러닝으로 해결한다는 점에서 혁신적이다. 기존 OOD 탐지 연구는 주로 단일 모달리티에 초점을 맞추고, 다양한 탐지기들을 직접 평가하거나 경험적 규칙에 의존해 선택한다. 그러나 멀티모달 데이터는 시각·음성·센서 등 서로 다른 특성을 동시에 포함하므로, 단일 탐지기의 성능이 데이터마다 크게 변동한다. 저자들은 이러한 변동성을 메타레벨에서 포착하기 위해 두 종류의 메타피처를 설계한다. 첫 번째는 전통적인 통계·분포 지표(예: 평균, 분산, 스케일, 차원 수)와 모달리티별 특성(예: 프레임 레이트, 스펙트로그램 차원) 등을 포함한 핸드크래프트 피처이며, 두 번째는 SlowFast 네트워크 기반의 멀티모달 임베딩이다. SlowFast는 비디오와 옵티컬 플로우를 동시에 처리하도록 설계돼, 교차모달 관계를 자연스럽게 인코딩한다. 이렇게 얻은 데이터 임베딩(E_data)와 탐지기 임베딩(E_model)을 결합해 XGBoost 회귀 모델 f를 학습한다. f는 (데이터, 탐지기) 쌍을 입력받아 해당 탐지기의 성능 점수(P)를 예측하도록 최적화된다. 학습 단계에서는 n개의 메타‑트레인 데이터셋과 m개의 OOD 탐지기(예: MSP, ODIN, Energy, Mahalanobis 등)의 실제 성능 행렬 P∈ℝ^{n×m}을 사용한다. 손실 함수는 예측값과 실제 성능 간의 L2 차이를 최소화하는 형태이며, XGBoost의 특성 선택 능력 덕분에 고차원 메타피처 중 핵심 정보를 자동으로 추출한다.

온라인 단계에서는 새로운 데이터셋 D_new에 대해 동일한 메타피처와 임베딩을 계산하고, 학습된 f를 통해 각 후보 탐지기의 예상 성능을 추정한다. 가장 높은 점수를 받은 탐지기가 최종 선택된다. 이 과정은 실제 OOD 라벨이 없어도 수행될 수 있어, 실시간 배포 환경에 적합하다.

실험에서는 12개의 멀티모달 OOD 시나리오(비디오·오디오·센서 조합)와 11개의 메타‑선택 방법(기존 메타OD, ELECT, ADGym 등)을 비교했다. M3OOD는 평균 AUROC 기준 4~7%p 상승을 보였으며, 선택 시간도 수초 수준으로 경량이었다. 통계적으로 유의미한 순위 향상이 확인되었고, 특히 교차모달 불일치가 큰 경우(예: 비디오와 오디오가 서로 다른 도메인)에서 기존 탐지기보다 월등히 안정적인 선택을 제공했다.

한계점으로는 메타‑트레인 데이터셋이 현재 비디오·옵티컬 플로우 중심이며, 텍스트·음성·라이다 등 다른 모달리티에 대한 확장성이 아직 검증되지 않았다. 또한 XGBoost 기반 회귀가 비선형 관계를 충분히 모델링하지만, 더 복잡한 딥 메타러닝 구조(예: 메타‑트랜스포머)와의 비교는 부족하다. 마지막으로 메타피처 설계가 도메인 전문가의 직관에 크게 의존한다는 점에서, 자동화된 피처 추출 방법이 향후 연구 과제로 남는다.