경량 엣지 학습을 위한 데이터셋 프루닝 기법

초록

본 논문은 모바일 엣지 디바이스에서의 학습 비용을 감소시키기 위해, 짧은 워밍업 단계에서 얻은 평균 손실을 기반으로 샘플 중요도를 평가하고, 동적 프루닝 비율에 따라 가장 유의미한 데이터만을 선택하는 경량 데이터셋 프루닝 프레임워크를 제안한다. 실험 결과, 프루닝 비율에 비례해 학습 지연시간과 에너지 소모가 거의 선형적으로 감소하면서도 모델 정확도는 거의 유지되는 것을 확인하였다.

상세 분석

이 연구는 엣지 학습에서 모델 자체의 경량화(프루닝, 양자화 등)보다 데이터 양 자체를 줄이는 데이터 중심 접근을 택했다는 점에서 차별성을 가진다. 핵심 아이디어는 ‘짧은 워밍업 단계’를 도입해 전체 데이터셋을 완전 학습하지 않고도 각 샘플의 평균 손실값을 빠르게 계산한다는 것이다. 평균 손실은 해당 샘플이 현재 모델에 얼마나 큰 학습 기여를 하는지를 나타내는 지표로 활용되며, 손실이 큰 샘플일수록 모델이 아직 충분히 학습되지 않았음을 의미한다. 따라서 손실이 높은 순으로 상위 ρ · N개의 샘플을 선택하고, 나머지는 학습에서 제외한다.

프루닝 과정은 완전 결정적(deterministic)이며, 각 디바이스가 로컬에서 독립적으로 수행된다. 이는 통신 오버헤드가 전혀 없고, 프루닝 비율 ρ를 사전에 설정함으로써 메모리·스토리지 사용량, 연산 FLOPs, 에너지 소비를 정확히 예측할 수 있게 만든다. 수식 (3)~(7)에서 보듯이, 전체 학습 단계 수 Tₖ는 ρₖ에 선형적으로 비례하므로, FLOPs와 지연시간 τₖ, 에너지 Eₖ 역시 ρₖ에 비례한다. 이러한 선형 관계는 실제 모바일 디바이스의 전력·열 제한을 정량적으로 관리하는 데 큰 장점을 제공한다.

알고리즘 복잡도 측면에서, 워밍업 단계는 전체 데이터에 대해 한 번의 포워드·백워드 연산만 수행하면 되므로 O(N) 수준이다. 이후 손실값을 정렬해 상위 M개를 선택하는 과정은 O(N log N)이나, 실제 구현에서는 히스토그램 기반 선택이나 퀵셀렉트(quickselect) 등을 이용해 O(N)으로 최적화 가능하다. 따라서 전체 프루닝 파이프라인은 학습 전처리 단계로서 경량 디바이스에서도 충분히 실시간으로 수행될 수 있다.

관련 연구와 비교하면, 기존 코어셋/프루닝 기법은 그래디언트 노름, 헤시안 등 2차 정보에 의존해 높은 계산 비용을 요구한다. 반면 본 방법은 1차 통계(평균 손실)만을 사용해 계산량을 크게 절감한다. 또한, 커리큘럼 학습이나 액티브 러닝처럼 학습 중에 지속적으로 샘플을 재평가하는 방식과 달리, ‘one‑shot’ 선택을 통해 런타임 오버헤드를 완전히 제거한다. 이는 배터리 구동형 IoT 디바이스나 실시간 제어 시스템에 특히 유리하다.

실험에서는 CIFAR‑10, CIFAR‑100, Tiny‑ImageNet 등 표준 이미지 분류 벤치마크를 사용했으며, 프루닝 비율을 0.2~0.8까지 변화시켰을 때 정확도 손실이 0.5% 이하(대부분 <0.2%)에 머무르는 것을 확인했다. 동시에 학습 시간과 에너지 소비는 프루닝 비율에 거의 일치하는 비율로 감소하였다. 이는 데이터 중복이 높은 실제 엣지 환경에서 ‘핵심 샘플’만을 골라 학습해도 충분히 일반화 성능을 유지할 수 있음을 실증한다.

한계점으로는 현재 손실 기반 중요도 평가가 모델 초기 상태에 크게 의존한다는 점이다. 워밍업 단계가 너무 짧으면 손실이 실제 샘플 난이도를 정확히 반영하지 못할 수 있다. 또한, 현재는 이미지 분류에 초점을 맞추었으며, 시계열 데이터나 비정형 텍스트 등 다른 도메인에 대한 적용 가능성은 추가 연구가 필요하다. 향후 연구에서는 다중 라운드 프루닝, 적응형 ρ 조정, 그리고 프루닝과 모델 압축 기법을 공동 최적화하는 통합 프레임워크를 탐색할 여지가 있다.