다양하게 확장되는 차별적 특징 축적을 통한 비지도 특징 학습

초록

DDFA(다이버전트 디스크리미네이티브 피처 어큐뮬레이션)는 오류 최소화가 아닌 ‘새로운 구분력’ 자체를 목표로 특징을 지속적으로 생성한다. 진화 기반의 Novelty Search와 간접 인코딩인 HyperNEAT를 결합해 MNIST에 단일층 특징을 학습했으며, 이후 간단한 2‑계층 네트워크로 경쟁력 있는 정확도를 달성한다.

상세 분석

본 논문은 비지도 특징 학습의 새로운 패러다임을 제시한다. 기존의 오토인코더·RBM 등은 입력을 재구성함으로써 데이터의 잠재 구조를 파악하려 하지만, 학습된 특징이 최종 분류 과제와 얼마나 연관되는지는 보장되지 않는다. DDFA는 이러한 한계를 넘어, “훈련 샘플 간에 새로운 구분을 만들 수 있는” 특징 자체를 목표로 삼는다. 핵심 메커니즘은 두 가지이다. 첫째, Novelty Search는 적합도 대신 행동(여기서는 특징이 입력을 어떻게 구분하는가)를 기준으로 개체를 선택한다. 행동이 기존 아카이브와 멀수록 높은 ‘새로움 점수’를 얻어 재생산 확률이 상승하고, 이는 탐색이 지속적으로 새로운 영역으로 확산하도록 만든다. 둘째, HyperNEAT는 CPPN(Compositional Pattern Producing Network)이라는 간접 인코딩을 이용해 ANN의 가중치 패턴을 생성한다. CPPN 변이는 가중치 행렬을 무작위가 아닌 연속적·대칭적인 형태로 변형시키므로, 시각적 특징이 공간적 연속성을 유지한다. 이 두 기법을 결합하면, 특징 하나하나가 “새로운 구분”이라는 의미론적 가치를 갖고, 동시에 기하학적 일관성을 유지한다는 두 마리 토끼를 잡는다.

실험에서는 MNIST 28×28 이미지에 대해 단일층 특징(각 특징은 하나의 출력 뉴런)만을 진화시켰다. 수천 개의 특징이 아카이브에 축적된 뒤, 이들을 고정하고 2‑계층(특징 → Softmax) 네트워크를 전통적인 역전파로 학습했다. 결과는 98% 이상의 테스트 정확도로, 동일한 구조의 전통적인 오토인코더 기반 사전학습보다 우수했다. 흥미로운 점은 특징 수가 사전에 정해져 있지 않으며, 탐색을 중단할 시점만 정하면 언제든 새로운 구분을 추가할 수 있다는 점이다. 이는 고정된 차원 수에 얽매이지 않는 ‘무한히 확장 가능한’ 표현 학습을 가능하게 한다. 또한 오류 최소화가 아닌 새로움 추구라는 발산적 목표 덕분에 지역 최적에 갇히는 위험이 크게 감소한다는 이론적 장점도 확인된다.

한계로는 현재 실험이 단일층, 비컨볼루션 설정에 국한돼 있다는 점이다. 다층·컨볼루션 구조에 적용하면 더 복잡한 구분을 학습할 수 있을 것으로 기대되지만, 그에 따른 아카이브 관리와 계산 비용이 증가할 가능성이 있다. 또한 ‘새로움’의 정의가 거리 기반 스파시티 측정에 의존하므로, 고차원 특징 공간에서 적절한 거리 함수 설계가 필요하다.

요약하면, DDFA는 진화적 탐색과 간접 인코딩을 활용해 비지도 상황에서도 즉시 차별적인 특징을 축적하는 혁신적 방법이며, 기존 재구성 기반 사전학습의 한계를 보완한다는 점에서 의미가 크다.