비정형 회귀를 위한 메모리 효율적 지속 학습 프레임워크

초록

본 논문은 연속적인 데이터 스트림에서 회귀 모델이 망각 없이 적응하도록, 원시 데이터를 저장하지 않는 프로토타입 기반 생성 재현 방식을 제안한다. 적응형 출력 공간 이산화와 Mixture Density Network를 결합해 연속 회귀에 특화된 메모리 효율적 replay를 구현하고, 기존 CLeaR와 비교해 낮은 forgetting 비율과 안정적인 성능을 입증한다.

상세 분석

이 연구는 지속 학습(Continual Learning, CL) 분야에서 회귀 문제에 대한 실질적인 해결책이 부족하다는 점을 지적하고, 기존 분류 전용 프레임워크인 TRIL3을 회귀에 맞게 확장한다. 핵심 기여는 세 가지로 요약된다. 첫째, 연속적인 목표 변수의 특성을 반영해 출력 공간을 동적으로 이산화하는 Adaptive Output‑Space Discretization 모듈을 도입하였다. 이 모듈은 데이터 흐름에서 관측되는 목표값의 분포 변화를 실시간으로 추적하고, 일정한 구간(버킷)으로 나누어 가상의 “클래스” 라벨을 생성한다. 이렇게 생성된 라벨은 기존 XuIL‑VQ 프로토타입 생성 알고리즘에 입력되어, 연속적인 회귀 데이터에서도 의미 있는 프로토타입을 추출할 수 있게 한다. 둘째, 프로토타입 기반 생성 모델에 Mixture Density Network(MDN)를 결합함으로써, 각 프로토타입이 다중 가우시안 혼합 형태의 조건부 출력 분포를 학습하도록 설계하였다. MDN은 연속적인 목표값을 확률적으로 모델링하므로, 단일 평균값을 사용하는 전통적인 회귀와 달리 불확실성을 보존하면서 합성 데이터를 생성한다. 셋째, 메모리 사용량을 최소화하기 위해 실제 샘플을 전혀 저장하지 않고, 프로토타입과 MDN 파라미터만 유지한다. 이는 프라이버시 보호와 엣지 디바이스의 제한된 저장 공간 문제를 동시에 해결한다. 실험에서는 여러 공개 탭ular 회귀 데이터셋(예: UCI Energy, Bike Sharing, Power Consumption)을 사용해 두 단계 평가를 수행하였다. 첫 번째 단계에서는 오프라인 Random Forest Regressor와 경험 재현(Experience Replay) 기반 베이스라인과 비교했으며, 제안 방법이 평균 Forgetting Ratio를 15% 이상 감소시키고, RMSE 측면에서도 경쟁력을 보였다. 두 번째 단계에서는 최신 회귀 전용 지속 학습 프레임워크인 CLeaR와 직접 비교했으며, CLeaR가 원시 데이터를 버퍼에 저장하는 반면, 본 방법은 저장 없이도 동일하거나 더 낮은 Forgetting Ratio와 안정적인 업데이트 성능을 기록했다. 특히, 비정상적인 데이터 분포 전환이 빈번한 시나리오에서 업데이트 단계 동안 성능 급락이 거의 없었으며, 이는 프로토타입 업데이트와 MDN 재학습이 효과적으로 새로운 패턴을 포착하면서도 기존 지식을 보존했기 때문이다. 전체적으로 이 논문은 (1) 연속 회귀에 적합한 프로토타입 생성 메커니즘, (2) 확률적 출력 모델링을 통한 합성 데이터 품질 향상, (3) 메모리·프라이버시 제약을 만족하는 실용적인 프레임워크를 제시함으로써, 산업 현장 특히 Industry 4.0 환경에서의 실시간 예측 시스템에 바로 적용 가능한 솔루션을 제공한다는 점에서 의의가 크다.