점진 학습을 위한 진화형 분류기: Learn++와 ILUGA 비교

초록

본 논문은 기존의 Incremental Learning 알고리즘인 Learn++와 새롭게 제안된 유전 알고리즘 기반 Incremental Learning Using Genetic Algorithm(ILUGA)를 비교한다. 두 방법 모두 새로운 클래스와 데이터를 기존 모델을 완전 재학습 없이 받아들일 수 있도록 설계되었으며, OCR 및 Wine 데이터셋 실험에서 ILUGA가 Learn++보다 약 4% 높은 정확도를 달성한다. 특히 ILUGA는 소수의 분류기만으로도 재학습 시 발생하는 ‘catastrophic forgetting’ 현상을 최소화한다는 장점을 보인다.

상세 분석

본 논문은 점진 학습(incremental learning) 분야에서 두 가지 주요 접근법을 심도 있게 비교한다. 첫 번째는 1990년대 후반부터 제안된 Learn++ 알고리즘으로, 다수의 약한 학습기(weak learner)를 순차적으로 추가하면서 가중치를 재조정하는 부스팅 기반 메커니즘을 사용한다. Learn++는 새로운 데이터 배치가 도착할 때마다 기존 모델에 새로운 약한 학습기를 추가하고, 이전 학습기들의 가중치를 재조정함으로써 과거 지식을 보존한다. 그러나 다수의 학습기를 필요로 하며, 특히 클래스가 추가될 때마다 전체 가중치 재계산이 복잡해지는 단점이 있다.

두 번째는 저자들이 제안한 ILUGA(Incremental Learning Using Genetic Algorithm)이다. ILUGA는 유전 알고리즘(GA)을 활용해 최적의 분류기 집합을 탐색한다. 초기에는 무작위로 생성된 후보 분류기 집합을 평가하고, 적합도 함수는 분류 정확도와 모델 복잡도(예: 파라미터 수)를 동시에 고려한다. 이후 선택, 교차, 돌연변이 연산을 통해 새로운 세대를 생성하고, 가장 적합한 후보를 유지한다. 중요한 점은 ILUGA가 새로운 클래스가 추가될 때마다 전체 모델을 재학습하지 않고, 기존에 선택된 최적 분류기 집합에 새로운 분류기를 추가하거나 기존 분류기의 파라미터를 미세 조정한다는 점이다. 이 과정에서 GA는 기존 지식을 보존하면서도 새로운 데이터에 대한 적응성을 확보한다.

실험에서는 광학 문자 인식(OCR) 데이터셋과 Wine 데이터셋을 사용하였다. OCR 데이터는 다중 클래스(10개)이며, 각 클래스마다 샘플 수가 불균형한 특징을 가진다. Wine 데이터는 3개의 클래스로 구성된 비교적 작은 규모의 데이터셋이다. 두 데이터셋 모두 점진적으로 새로운 클래스와 샘플을 추가하는 시나리오를 설정했으며, 각 단계마다 전체 테스트 정확도를 측정하였다. 결과는 ILUGA가 Learn++에 비해 평균 4%p 높은 정확도를 보였으며, 특히 OCR와 같이 클래스가 많고 데이터 분포가 복잡한 경우에 그 차이가 두드러졌다. 또한 ILUGA는 사용된 분류기 수가 Learn++에 비해 현저히 적음에도 불구하고 성능 저하가 없었으며, 이는 ‘catastrophic forgetting’ 현상이 최소화된 것으로 해석된다.

알고리즘 복잡도 측면에서 Learn++는 매 단계마다 전체 약한 학습기 집합을 재평가하고 가중치를 재조정해야 하므로 시간·메모리 비용이 급격히 증가한다. 반면 ILUGA는 GA를 통한 최적화 과정이 초기에는 비용이 크지만, 이후 단계에서는 기존 최적 해를 기반으로 작은 변동만을 수행하므로 전체 연산량이 상대적으로 안정적이다. 또한 ILUGA는 모델 압축(소수의 분류기)과 파라미터 튜닝을 동시에 수행함으로써 실시간 시스템이나 임베디드 환경에 적합한 특성을 가진다.

한계점으로는 GA의 하이퍼파라미터(인구 크기, 교차·돌연변이 확률 등)에 대한 민감도가 존재한다는 점이다. 논문에서는 실험을 통해 경험적으로 최적값을 찾았지만, 실제 적용 시 데이터 특성에 따라 재조정이 필요할 수 있다. 또한 GA 기반 탐색은 전역 최적해를 보장하지 않으며, 초기 무작위 집합에 따라 수렴 속도가 달라질 가능성이 있다.

종합적으로 보면, ILUGA는 점진 학습에서 모델 복잡도와 기억 유지 사이의 트레이드오프를 효과적으로 해결한 접근법이라 할 수 있다. 특히 제한된 리소스 환경에서 다중 클래스 문제를 다룰 때 유리하며, 향후 연구에서는 GA 외에도 진화 전략, 강화 학습 등 다른 메타휴리스틱과의 결합을 통해 탐색 효율성을 더욱 높일 가능성이 있다.