두 마리 새를 한 스콘으로: 야생 데이터 활용 OOD 일반화와 탐지 동시 해결

초록

본 논문은 라벨이 없는 야생 데이터를 활용해 공변량 변동에 대한 OOD 일반화와 의미적 변동에 대한 OOD 탐지를 동시에 달성하는 새로운 마진 기반 학습 프레임워크 SCONE을 제안한다. 에너지 마진 제약을 도입해 ID 데이터의 에너지를 낮게 유지하면서, 야생 데이터 전체를 OUT으로 분류하도록 학습한다. 이 접근법은 이론적 분석과 실험을 통해 기존 OOD 일반화 전용 방법과 OOD 탐지 전용 방법을 모두 능가함을 보인다.

상세 분석

SCONE은 기존 OOD 연구가 각각 공변량 변동(일반화)과 의미적 변동(탐지)이라는 두 축에만 초점을 맞추어 왔던 점을 통합적으로 해결하고자 한다. 핵심 아이디어는 실제 배포 환경에서 자연스럽게 발생하는 ‘야생 데이터’를 활용한다는 점이다. 저자들은 야생 데이터를 ID, 공변량 OOD, 의미적 OOD의 혼합 분포 P_wild = (1‑π_c‑π_s)P_in + π_c P_cov + π_s P_sem 로 모델링하고, 라벨이 없으면서도 테스트 시점의 OOD 분포를 그대로 포함한다는 점을 강조한다.

이러한 데이터는 ID와 공변량 OOD가 의미적으로 동일한 라벨 공간을 공유하지만, 의미적 OOD는 전혀 새로운 클래스를 포함한다는 차이가 있다. 기존 WOODS 방법은 야생 데이터에 포함된 공변량 OOD를 모두 OUT으로 분류하도록 최적화함으로써, 공변량 OOD가 실제로는 IN에 가까운 위치에 있음에도 불구하고 에너지 경계가 이를 잘못 구분한다는 문제를 드러냈다. 저자들은 이를 시각화(그림 2)와 실험(MNIST‑C와 FashionMNIST 혼합)으로 입증하였다.

SCONE은 이 문제를 해결하기 위해 에너지 마진 η<0을 도입한다. 구체적으로, ID 샘플에 대해 에너지 E_θ(x) ≤ η 라는 하드 제약을 두고, 야생 샘플에 대해서는 E_θ(˜x) ≤ 0 (즉, OUT으로 분류) 을 최소화한다. 이 마진 제약은 ID 데이터의 에너지를 강제로 낮추어, 에너지 레벨셋이 오른쪽으로 이동하도록 만든다. 결과적으로 공변량 OOD는 ID와 근접한 위치에 있기 때문에, 마진에 의해 자연스럽게 IN 쪽에 배치되어 분류 정확도가 향상된다. 동시에 의미적 OOD는 여전히 높은 에너지 영역에 머물러 탐지 성능이 유지된다.

이론적 분석에서는 고정된 피처 맵 φ와 선형 분류기를 가정하고, 마진 η가 충분히 큰 경우 공변량 OOD에 대한 분류 오류가 상한선보다 감소함을 보였다. 이는 에너지 마진이 클래스 로짓을 증폭시켜, 변동된 입력에서도 원래 라벨을 올바르게 예측하도록 돕는 메커니즘과 일치한다.

실험에서는 CIFAR‑10, CIFAR‑100, ImageNet‑R 등 다양한 데이터셋과 여러 공변량 변동(노이즈, 스타일 변환) 및 의미적 변동(FashionMNIST, SVHN 등)을 조합한 야생 데이터 셋을 사용하였다. 평가 지표는 ID 정확도, 공변량 OOD 정확도, 의미적 OOD 탐지의 FPR95를 포함한다. SCONE은 기존 OOD 일반화 전용 방법(예: CORAL, IRM)보다 공변량 OOD 정확도에서 10‑30%p 향상을 보였으며, OOD 탐지에서는 WOODS와 동등하거나 더 낮은 FPR95를 기록했다. 특히, 마진 η를 0에서 –5 정도로 조정했을 때 성능이 최적화되는 것을 확인하였다.

전체적으로 SCONE은 라벨이 없는 야생 데이터를 적극 활용함으로써, 두 개의 상충되는 목표를 동시에 달성할 수 있는 실용적인 프레임워크를 제공한다. 마진 기반 제약이 핵심 메커니즘이며, 이 아이디어는 에너지 기반 OOD 탐지와 일반화 문제를 통합적으로 다루는 새로운 연구 방향을 제시한다.