불완전 속성으로 제로샷 인식하기

초록

이 논문은 속성 예측이 불완전한 상황에서도 제로샷(또는 소수샷) 분류기를 학습할 수 있도록, 속성 검출기의 오류 특성을 활용한 랜덤 포레스트 방식을 제안한다. ROC 정보를 이용해 각 속성의 신뢰도를 반영한 분할 기준을 선택함으로써, 기존 방법보다 더 견고한 클래스 모델을 구축한다.

상세 분석

본 연구는 제로샷 학습의 핵심 가정인 “속성 서명만으로 새로운 클래스를 정의할 수 있다”는 점을 그대로 유지하면서, 실제 이미지에서 속성을 추정할 때 발생하는 높은 오류율을 정량적으로 모델링한다. 기존의 두 단계 방식(속성 예측 → 클래스 매핑)은 속성 예측기를 완벽하게 가정하고, 오류가 있으면 바로 클래스 판단에 악영향을 미친다. 저자들은 이 문제를 해결하기 위해 두 가지 주요 아이디어를 도입한다. 첫째, 각 속성 검출기의 ROC(Receiver Operating Characteristic) 곡선을 사전에 검증 데이터셋으로 측정하고, 이를 트리 분할 시 “속성‑임계값” 조합에 대한 기대 정보이득(info‑gain) 계산에 포함한다. 즉, 특정 임계값 t에서 속성 m이 true‑positive, false‑positive, true‑negative, false‑negative가 될 확률을 이용해 서명(클래스)들이 왼쪽·오른쪽 자식 노드로 부분적으로 전파되도록 한다. 이렇게 하면 트리 학습 단계에서 이미 속성 예측기의 불확실성을 반영한 “소프트” 분할이 이루어져, 테스트 시 실제 속성 점수가 어느 정도 오류를 포함하더라도 트리 구조가 이미 그 오류를 기대하고 설계돼 있다. 둘째, 이러한 확률적 전파를 기존 랜덤 포레스트의 정보이득 공식에 통합해 새로운 정보이득 함수 IG_unreliable를 정의한다. 이 함수는 각 노드에서 클래스(양성/음성) 비율을 실제 확률분포로 대체하고, 분할에 따른 엔트로피 감소를 기대값 형태로 계산한다. 결과적으로, 트리는 “예측이 쉬운” 속성을 우선적으로 선택하고, 오류가 큰 속성은 깊은 레벨이나 덜 중요한 분할에 배치한다.

또한 저자들은 속성‑클래스 연관성 자체가 불확실할 경우(예: 인간이 제공한 서명이 부정확하거나 모호한 경우)를 다루기 위해 서명에 대한 베이지안 사전 분포를 도입하고, 이를 트리 학습에 통합한다. 이 확장은 실제 어노테이션이 부족한 상황에서도 모델이 과도하게 특정 속성에 의존하지 않게 만든다.

소수샷(few‑shot) 확장에서는 제한된 수의 실제 이미지 라벨을 함께 사용한다. 여기서는 이미지 특징을 직접 트리 분할에 활용하는 대신, 이미지에서 얻은 속성 점수와 서명 기반 확률을 동시에 전파시켜, 라벨이 있는 샘플이 제공하는 추가 정보를 정보이득 계산에 가중치로 반영한다. 이렇게 하면 제로샷과 소수샷 사이의 연속적인 학습이 가능해진다.

실험에서는 세 개의 대규모 데이터셋(객체, 장면, 동물 등)에서 기존 제로샷 방법(DAP, Direct Attribute Prediction 등)과 비교했을 때, 제안된 랜덤 포레스트가 평균 5~10% 이상의 정확도 향상을 보였다. 특히 속성 검출기의 ROC가 낮은(노이즈가 많은) 경우에도 성능 저하가 완만했으며, 소수샷 상황에서도 라벨이 몇 개만 추가될 때 급격히 성능이 상승하는 모습을 확인했다.

핵심 기여는 (1) 속성 검출기의 오류 특성을 정량화해 트리 학습에 직접 반영한 새로운 랜덤 포레스트 프레임워크, (2) 불확실한 속성‑클래스 서명을 다루는 베이지안 확장, (3) 제로샷과 소수샷을 자연스럽게 연결하는 학습 전략이다. 이 접근법은 속성 기반 전이 학습이 아직도 높은 오류율에 시달리는 현실적인 상황에서 실용적인 해결책을 제공한다.