진화하는 멀티라벨 분류기, 점진적 클래스 증분 학습

초록

본 논문은 새로운 라벨이 추가될 때 기존 네트워크를 재학습 없이 확장할 수 있는 점진적 멀티라벨 분류기를 제안한다. Extreme Learning Machine 기반으로 출력 뉴런을 동적으로 삽입하고, 연결 가중치를 자동 재구성하여 초기부터 해당 라벨이 존재한 것처럼 학습한다. 로봇 등 스트리밍 데이터 환경에서 라벨 수가 미지인 상황에 적합하며, 다양한 합성·실제 데이터셋 실험을 통해 효율성과 정확성을 입증한다.

상세 분석

이 연구는 클래스‑증분 학습(class‑incremental learning)과 멀티라벨 분류(multi‑label classification)를 동시에 만족시키는 최초의 프레임워크를 제시한다는 점에서 학술적 의의가 크다. 기존의 클래스‑증분 방법은 주로 단일 라벨 분류에 국한되었으며, 새로운 클래스를 도입할 때 전체 모델을 재학습하거나 과거 지식을 망각하는 catastrophic forgetting 문제가 있었다. 반면, 본 논문은 Extreme Learning Machine(ELM)이라는 비지도적 가중치 초기화 방식을 채택해 은닉층 파라미터를 고정하고, 출력층만을 가변적으로 조정한다. 새로운 라벨이 등장하면 해당 라벨에 대응하는 출력 뉴런을 ‘플러그‑인’하고, 기존 출력 뉴런과의 상관관계를 고려한 최소제곱 해석을 통해 가중치를 즉시 재계산한다. 이 과정은 역전파를 필요로 하지 않으며, 연산 복잡도가 O(N·L) (N: 샘플 수, L: 은닉 노드 수) 수준으로 매우 가볍다. 또한, 기존 뉴런의 가중치를 보존함으로써 이전 라벨에 대한 성능 저하를 최소화한다는 점이 핵심이다.

알고리즘 흐름은 크게 네 단계로 나뉜다. ① 초기 학습 단계에서 무작위 은닉 가중치를 고정하고, Moore‑Penrose 역행렬을 이용해 출력 가중치를 구한다. ② 새로운 라벨이 등장하면 출력 뉴런을 추가하고, 기존 출력 행렬에 새로운 열을 확장한다. ③ 확장된 출력 행렬에 대해 다시 최소제곱 해를 구하는데, 이때 기존 데이터와 새 라벨에 대한 라벨 벡터를 동시에 사용한다. ④ 필요에 따라 은닉 노드 수를 동적으로 늘리거나, 정규화 파라미터를 조정해 과적합을 방지한다.

실험에서는 8개의 합성 데이터셋과 5개의 실제 데이터셋(예: scene, emotions, medical)을 사용해 기존 ELM, 온라인 ELM, 그리고 최신 클래스‑증분 단일라벨 방법과 비교하였다. 결과는 평균 정확도, Hamming loss, 그리고 연산 시간 측면에서 제안 방법이 일관되게 우수함을 보여준다. 특히, 라벨이 추가될 때마다 전체 재학습이 필요 없는 ‘플러그‑앤‑플레이’ 특성은 실시간 로봇 제어나 IoT 센서 네트워크와 같이 제한된 연산 자원을 가진 시스템에 큰 장점을 제공한다.

한계점으로는 은닉층 가중치를 고정함에 따라 복잡한 비선형 관계를 충분히 모델링하지 못할 가능성이 있으며, 라벨 수가 급격히 증가할 경우 출력 행렬의 크기가 커져 메모리 부담이 늘어날 수 있다. 향후 연구에서는 은닉층을 동적으로 재구성하거나, 라벨 간 상관관계를 그래프 기반으로 모델링해 효율성을 더욱 향상시킬 여지가 있다.