한 장면으로 배우는 추상 가우시안 프로토타입: 진정한 원샷 개념 학습

초록

이 논문은 단일 이미지에서 가우시안 혼합 모델(GMM)로 픽셀을 군집화해 각 서브파트를 추출하고, 이를 기반으로 ‘추상 가우시안 프로토타입(AGP)’을 만든다. AGP 간의 유사도는 Tversky 지표로 측정해 원샷 분류에 활용하고, AGP‑VAE 파이프라인으로 새로운 문자 형태를 생성한다. 사전 학습이나 복잡한 심볼릭 시스템 없이도 비교적 낮은 계산량으로 분류·생성 양쪽 과제를 수행한다는 점이 핵심이다.

상세 분석

본 연구는 인간의 원샷 학습 능력을 모방하려는 시도로, 이미지의 픽셀을 2차원 점 집합으로 보고 GMM을 적용해 ‘서브파트’를 확률적 클러스터로 추출한다. 각 클러스터는 평균·공분산으로 서브파트의 위치와 형태를 요약하고, 이 파라미터를 샘플링해 추가 픽셀을 생성함으로써 원본 이미지보다 풍부한 프로토타입을 만든다. 이러한 AGP는 전통적인 프로토타입 이론과 유사하지만, 명시적 심볼이나 규칙이 아니라 연속적인 확률분포로 표현된다는 점에서 차별화된다.

분류 단계에서는 Tversky 유사도(공통 픽셀 수 대비 차이 픽셀 수에 가중치를 부여)를 사용해 목표 이미지와 후보 이미지의 AGP 간 유사도를 계산한다. 이는 인간이 특징을 비교할 때 ‘공통점보다 차이점에 더 큰 가중치를 둔다’는 심리학적 모델을 그대로 차용한 것으로, 단순한 거리 기반 임베딩보다 해석 가능성이 높다.

생성 단계는 AGP‑VAE 파이프라인으로 구성된다. 먼저 각 클래스별 AGP를 다수 생성해 인공 데이터셋을 만든 뒤, VAE를 학습시켜 클래스 간 잠재 공간을 형성한다. 이 잠재 공간에서 샘플링하면 기존 클래스의 서브파트를 조합한 새로운 문자 형태가 생성된다. 여기서 VAE는 여전히 신경망 기반이지만, 사전 학습된 대규모 모델이 아니라 AGP에서 만든 제한된 데이터만을 사용한다는 점이 ‘진정한’ 원샷 학습이라는 주장에 부합한다.

하지만 몇 가지 한계도 존재한다. 첫째, 픽셀 수준의 GMM 클러스터링은 이미지 해상도와 노이즈에 민감하며, 최적의 클러스터 수(K) 선택이 성능에 큰 영향을 미친다. 둘째, 현재 실험은 Omniglot 문자에만 국한돼 있어 다른 도메인(예: 자연 이미지, 3D 객체)으로의 일반화 가능성이 검증되지 않았다. 셋째, 생성 품질 평가는 인간 평가자 설문에 의존했으며, 정량적 메트릭(예: FID, IS)이나 베이스라인 대비 비교가 부족하다. 넷째, VAE를 사용함으로써 완전히 비신경망 접근이라고 보기는 어렵고, VAE 자체의 학습 안정성 문제와 잠재 공간 해석 어려움이 남는다. 마지막으로, GMM 학습은 각 이미지마다 별도로 수행되므로 대규모 실시간 시스템에 적용하려면 효율적인 구현이 필요하다.

전반적으로 이 논문은 복잡한 사전 학습 없이도 확률적 구조와 인간 유사도 모델을 결합해 원샷 분류·생성을 동시에 다루는 새로운 패러다임을 제시한다. 향후 연구에서는 클러스터링 방식을 딥러닝 기반 세그멘테이션으로 대체하거나, 다중 도메인 실험을 통해 일반화 능력을 검증하는 것이 필요하다.