시맨틱 그래프 기반 제로샷 학습

초록

본 논문은 사전 라벨이 없는 새로운 클래스(언시드 클래스)를 인식하기 위해, 단어 임베딩 공간에 구축한 k‑최근접 이웃 시맨틱 그래프와 흡수 마코프 체인을 결합한 새로운 제로샷 학습 프레임워크를 제안한다. 그래프는 모든 클래스(시드·언시드)를 노드로 하여 의미적 유사도 기반으로 연결하고, 언시드 클래스를 흡수 상태로 설정해 테스트 이미지가 그래프에 삽입될 때 각 언시드 클래스로 흡수될 확률을 계산한다. 이 확률이 가장 높은 클래스를 예측 라벨로 선택한다. 제안 방법은 폐쇄형 해를 갖고 테스트 이미지 수에 선형적으로 확장 가능하며, AwA 데이터셋에서 기존 최첨단 방법들을 능가한다.

상세 분석

이 연구는 제로샷 학습(ZSL)에서 ‘시맨틱 관계 모델링’이라는 핵심 문제를 새로운 시각으로 접근한다. 기존 방법들은 주로 시드 클래스와 언시드 클래스 사이의 직접적인 연관성만을 bipartite 그래프로 표현했으며, 시드 클래스 간의 관계는 무시했다. 저자는 이러한 한계를 극복하기 위해 모든 클래스(시드·언시드)를 포함하는 k‑nearest‑neighbor( k‑nn ) 시맨틱 그래프를 구축한다. 각 노드는 단어 임베딩(Word2Vec 등)에서 추출한 벡터로 표현되며, 코사인 유사도로 가중치를 부여한다. k‑nn 구조는 그래프의 희소성을 보장하면서도 시드 클래스 간의 의미적 흐름을 자연스럽게 반영한다.

그래프 위에 흡수 마코프 체인을 정의하는 것이 핵심 아이디어다. 언시드 클래스는 흡수 상태(absorbing state)로 설정하고, 시드 클래스는 일시 상태(transient state)로 두어, 테스트 이미지가 시드 클래스와 연결된 뒤 그래프를 따라 이동하면서 최종적으로 어느 언시드 클래스에 흡수될 확률을 계산한다. 이때 전이 확률은 정규화된 코사인 유사도이며, 테스트 이미지와 시드 클래스 간의 연결은 사전 학습된 SVM이 제공하는 p(y|x) posterior 확률을 이용해 가장 높은 확률을 가진 시드 클래스에만 연결한다.

수학적으로는 전이 행렬 P를 Q, R 형태의 블록 행렬로 분해하고, 흡수 확률 행렬 B = (I−Q)^{−1}R 를 구한다. 테스트 이미지가 추가된 확장 그래프에서는 Q와 R에 하나의 행/열이 추가되지만, 폐쇄형 해가 그대로 적용되어 O(n) 시간 복잡도로 다수의 테스트 이미지에 대해 동시에 계산할 수 있다. 이는 기존 bipartite 기반 방법이 필요로 하는 고차원 매핑이나 복잡한 최적화 과정을 회피하게 해준다.

실험에서는 Animals with Attributes(AwA) 데이터셋을 사용해, 시드 클래스 40개와 언시드 클래스 10개 조합에서 평균 정확도가 기존 방법(예: IAP, Direct Attribute Prediction 등)을 크게 앞선다. 또한 그래프 구축 비용이 O(k(p+q)) 로 선형적이어서 대규모 클래스 집합에서도 효율적이다.

이 논문의 주요 기여는 (1) 시드·언시드 모두를 포함하는 k‑nn 시맨틱 그래프 설계, (2) 흡수 마코프 체인을 통한 확률적 라벨링 메커니즘, (3) 폐쇄형 해를 이용한 선형 시간 복잡도 구현이다. 특히 시드 클래스 간 의미적 연결을 활용함으로써, 테스트 이미지가 직접적으로 연결되지 않은 언시드 클래스와도 간접적인 경로를 통해 높은 확률을 부여받을 수 있다는 점이 ZSL 성능 향상의 핵심 요인으로 작용한다.