경쟁 입찰로 기억을 지키는 지속 학습

초록

MoB는 학습된 게이트 대신 VCG 경매를 이용해 전문가들을 라우팅한다. 각 전문가가 실행 비용과 EWC 기반 망각 비용을 합산한 진정한 비용을 입찰하고, 최저 입찰자가 배치를 처리한다. 이 방식은 라우팅이 무상태(stateless)이며, 진실된 입찰이 보장돼 지속 학습에서 발생하는 게이트 망각 문제를 근본적으로 해결한다.

상세 분석

본 논문은 기존 Mixture of Experts(MoE) 구조에서 가장 취약한 부분인 학습된 게이트가 연속 학습 시 catastrophic forgetting을 겪는 문제를 정확히 짚어낸다. 저자는 이를 “게이터 망각 문제”라 명명하고, 게이트가 새로운 작업에 맞춰 업데이트될 때 이전 작업에 대한 라우팅 로직이 손상되는 현상을 실험적·이론적으로 입증한다. 해결책으로 제시된 Mixture of Bidders(MoB)는 라우팅을 전통적인 신경망이 아니라 경제학의 Vickrey‑Clarke‑Groves(VCG) 경매 메커니즘으로 대체한다. VCG는 두 가지 핵심 특성을 제공한다. 첫째, 라우팅 규칙이 고정된 무상태 메커니즘이므로 학습 과정에서 파라미터가 변하지 않아 망각이 발생하지 않는다. 둘째, 지배전략 인센티브 호환성(DSIC)을 통해 전문가가 자신의 진정한 비용을 숨기지 않고 입찰하도록 강제한다. 비용은 실행 비용(예측 손실)과 망각 비용(EWC 기반 Fisher 정보)의 가중합으로 정의되며, α, β 하이퍼파라미터로 조절한다. 실행 비용이 낮은 전문가는 해당 배치에 적합함을 의미하고, 망각 비용이 높을수록 현재 지식을 손상시킬 위험이 크므로 입찰을 높게 제시한다. 이렇게 형성된 입찰 신호는 자동으로 전문가의 전문화를 유도한다. 실험에서는 Split‑MNIST 5‑task 시나리오에서 MoB가 평균 88.77% 정확도를 달성했으며, 이는 기존 Gated MoE(19.54%)와 Monolithic EWC(27.96%)를 크게 앞선다. 통계적으로 유의미한 차이(p<0.001)와 함께, 각 작업별 정확도 분석에서 초기 작업들의 성능이 후속 학습에도 유지되는 것을 확인한다. 또한, 전문가별 승률 분포를 통해 명시적 작업 라벨 없이도 자연스럽게 전문가가 특정 작업군에 집중하는 현상이 관찰된다. 확장으로 제안된 자기‑모니터링 메커니즘은 실행 비용의 변동성을 실시간으로 감시해 작업 경계가 명시되지 않은 연속 스트림에서도 Fisher 매트릭스 업데이트 시점을 자동으로 결정한다. 이는 CORe50과 같은 더 복잡한 데이터 스트림에서도 적용 가능성을 시사한다. 전체적으로 MoB는 라우팅을 무상태 경제 메커니즘으로 재구성함으로써, 기존 MoE의 구조적 장점은 유지하면서 게이터 망각이라는 근본적 한계를 극복한다는 점에서 학계와 산업계 모두에 큰 파급 효과를 기대할 수 있다.