작은 언어 모델을 위한 효율적인 지속 학습: 이산 키‑값 병목 활용

초록

본 논문은 인코더 전용 언어 모델에 이산 키‑값 병목(DKVB)을 도입해 지속 학습을 효율화한다. 키 초기화를 작업‑독립적으로 수행하고, 풀링·디코더 방식을 최적화한 여러 아키텍처를 비교한다. 도메인, 클래스, 작업 유형별 3가지 연속 학습 시나리오와 단일 헤드 설정에서 실험한 결과, DKVB가 기존 지속 학습 기법과 비슷한 정확도를 유지하면서 연산 비용을 크게 낮추고, 재학습 시 catastrophic forgetting을 완화함을 보였다.

상세 분석

이 논문은 기존 비전 분야에서 제안된 Discrete Key‑Value Bottleneck(DKVB)을 자연어 처리에 적용하기 위해 세 가지 핵심 문제를 해결한다. 첫째, 텍스트는 토큰 시퀀스로 표현되며, 인코더 출력은 (토큰 수 × 히든 차원) 형태의 고차원 텐서이다. 이를 그대로 병목에 넣으면 메모리와 연산량이 급증하므로, 저자들은 (i) 풀링을 병목 전·후에 적용하고, (ii) 히든 차원과 토큰 차원을 별도로 분할해 헤드를 구성하는 두 가지 전략을 실험하였다. 둘째, NLP에서 흔히 사용하는 CLS 토큰 풀링과 평균 풀링을 비교했으며, 실험 결과 평균 풀링을 병목 뒤에 적용했을 때 가장 높은 정확도를 얻었다. 이는 평균 풀링이 토큰 순서를 보존하면서도 전체 문맥 정보를 효과적으로 요약하기 때문이다. 셋째, 디코더 설계에서 파라메트릭(선형 레이어 + 드롭아웃)와 논파라메트릭(값 코드 평균 후 소프트맥스) 두 방식을 모두 검증했는데, 파라메트릭 디코더가 복잡한 텍스트 분류 태스크에서 더 우수한 성능을 보였다.

키 초기화는 작업‑독립적인 방식으로 설계되었다. 초기 키는 무작위로 배치한 뒤, 사전 학습된 코퍼스(또는 별도 데이터)에서 EMA(Exponential Moving Average) 업데이트를 3 epoch 동안 수행한다. 이렇게 얻어진 키는 학습 과정에서 고정되며, 값 코드만이 지속 학습 동안 로컬하게 업데이트된다. 따라서 새로운 태스크가 추가될 때 전체 모델 파라미터가 크게 변하지 않아 catastrophic forgetting을 억제한다.

아키텍처 탐색 결과, 최적 구성은 (1) 히든 차원을 기준으로 C = 4개의 헤드로 분할, (2) 각 헤드당 키‑값 쌍 K = 4096, (3) 키 차원 d_key = 12, 값 차원 d_val = 2, (4) 평균 풀링을 병목 뒤에 적용, (5) 파라메트릭 디코더를 사용하는 형태였다. 이 설정은 BERT‑base(프리‑트레인) 기반 실험에서 R8 데이터셋 96.04 %와 20NG 데이터셋 77.83 %의 정확도를 달성했으며, 전체 파인튜닝 BERT와의 격차는 각각 2 %와 7 %에 불과했다.

지속 학습 평가에서는 도메인 인크리멘털(DIL), 클래스 인크리멘털(CIL), 작업 유형 인크리멘털(TIL) 세 가지 시나리오와, 태스크 ID 없이 단일 헤드로 진행하는 어려운 CIL 설정을 사용했다. 비교 대상으로는 EWC, LwF, Replay‑Based, Adapter‑Based 등 최신 지속 학습 기법을 포함했으며, DKVB는 평균 정확도와 표준편차 면에서 경쟁력을 유지하면서 학습당 에폭당 실행 시간이 기존 방법보다 30 %~45 % 정도 짧았다. 특히 단일 헤드 CIL에서 DKVB는 다른 방법들이 급격히 성능이 떨어지는 상황에서도 비교적 안정적인 정확도를 유지해, 키‑값 병목이 태스크 간 경계 없이도 효과적인 파라미터 격리를 제공함을 입증했다.

전체적으로 이 논문은 (1) 이산 키‑값 병목을 NLP에 맞게 재설계, (2) 작업‑독립적인 키 초기화와 로컬 값 업데이트를 통해 기억 손실을 최소화, (3) 다양한 연속 학습 시나리오에서 효율성과 성능을 동시에 달성한다는 점에서 의미가 크다. 다만, 키‑값 쌍의 크기와 헤드 수가 메모리 요구량에 직접적인 영향을 미치므로, 초대형 모델이나 제한된 GPU 환경에서는 추가적인 압축 기법이 필요할 수 있다. 향후 연구에서는 키‑값 공유 메커니즘, 동적 헤드 조정, 그리고 멀티모달 입력에 대한 확장을 탐색하면 더욱 실용적인 지속 학습 프레임워크가 될 전망이다.