텔레콤 탭형 데이터용 자동 신경망 설계: 게이트 기반 뉴런 선택 모델

초록

본 논문은 통신망에서 흔히 사용되는 대규모 탭형 데이터를 대상으로, 뉴런 수준의 게이트 메커니즘을 활용한 Gradient‑based NAS 기법인 TabGNS를 제안한다. Gumbel‑Softmax와 Straight‑Through Estimator를 결합해 학습 과정에서 뉴런의 활성 여부를 확률적으로 조정하고, 최종적으로 가장 기여도가 높은 뉴런만을 남겨 경량화된 MLP를 자동 생성한다. 실험 결과, 기존 TabNAS·AgE 등 최신 NAS 방법에 비해 예측 오차는 유지하거나 개선하면서 모델 파라미터를 51‑82 % 감소시키고, 탐색 시간을 최대 36배 가속화하였다.

상세 분석

TabGNS는 기존 레이어‑단위 NAS가 갖는 이산적 선택 문제를 뉴런‑단위로 세분화함으로써 탐색 공간을 보다 정밀하게 제어한다. 핵심은 각 뉴런에 부여된 ‘게이트(gate)’ 파라미터 g(i,j)이며, 이는 Gumbel‑Softmax(temperature τ)와 Straight‑Through Estimator(STE)를 통해 연속적인 확률값 p_open으로 변환된다. 학습 초기에 p_open은 낮은 값으로 초기화돼 대부분의 뉴런이 비활성 상태를 유지하지만, 역전파 과정에서 손실에 대한 기여도가 큰 뉴런의 p_open이 점진적으로 상승한다. 일정 epoch 이후 p_open > 0.5인 뉴런을 ‘활성’으로 고정하고, 나머지는 제거함으로써 최종 아키텍처를 도출한다.

이 접근법은 두 가지 측면에서 효율성을 제공한다. 첫째, SuperNet에 모든 후보 뉴런을 포함시키고 가중치를 공유함으로써 별도 모델을 학습할 필요가 없으며, 이는 특히 완전 연결층에서 가중치 공유가 어려운 기존 DAR​TS 방식과 대비된다. 둘째, 뉴런‑단위 선택은 레이어‑단위 선택보다 미세한 구조 조정을 가능하게 하여, 동일한 레이어 폭 내에서도 불필요한 파라미터를 제거할 수 있다.

탐색 전략은 ‘progressive growth’ 방식을 채택한다. 초기에는 최소 폭(예: 16~32 뉴런)으로 시작해, 학습이 진행됨에 따라 게이트 확률이 높은 뉴런을 점진적으로 추가한다. 이는 탐색 초기의 계산량을 크게 낮추면서도, 최종 단계에서는 충분히 넓은 네트워크를 확보해 성능 저하를 방지한다.

실험에서는 4개의 통신 전용 탭형 데이터셋(Vodafone, 5G KPI 등)과 3개의 일반 탭형 벤치마크(Adult, Higgs, Click‑Through)에서 TabGNS를 TabNAS, AgE, DARTS‑based 변형과 비교하였다. 결과는 다음과 같다. (1) 평균 제곱오차(MSE) 또는 정확도 측면에서 TabGNS는 기존 방법과 동등하거나 1‑3 % 정도 개선, (2) 파라미터 수는 51‑82 % 감소, (3) 탐색 시간은 12‑36배 단축. 특히 통신 데이터셋에서 모델 크기 감소가 크게 나타났는데, 이는 현장 라우터·UE와 같이 메모리·전력 제한이 심한 환경에 직접 적용 가능함을 의미한다.

한계점으로는 현재 MLP에만 적용되며, 트리 기반 앙상블이나 Transformer‑계열 구조와의 비교가 부족하다. 또한 게이트 확률 임계값을 고정(0.5)하는 것이 최적이 아닐 수 있어, 동적 임계값 탐색이나 다중 목표(지연·전력) 최적화가 향후 연구 과제로 남는다.