이커머스 특화 BERT, RexBERT: 도메인 맞춤형 인코더의 새로운 기준

초록

RexBERT는 전자상거래 텍스트에 특화된 BERT‑계열 인코더 시리즈로, 350 억 토큰 규모의 Ecom‑niverse 코퍼스를 구축하고, ModernBERT 기반의 3단계 학습 커리큘럼(일반 사전학습 → 컨텍스트 확장 → 도메인 특화)을 적용하였다. 17 M~400 M 파라미터 모델이 일반 목적 대형 모델을 능가하며, 토큰 분류·시맨틱 유사도·GLUE 등 다양한 벤치마크에서 우수한 성능을 보인다.

상세 분석

RexBERT 논문은 전자상거래 분야의 언어 특성을 반영한 데이터와 학습 설계가 어떻게 모델 효율성을 극대화하는지를 체계적으로 보여준다. 첫 번째 핵심은 350 억 토큰 규모의 Ecom‑niverse 코퍼스이다. 저자들은 FineFineWeb이라는 4.4 조 토큰 규모의 웹 크롤링 데이터셋에서 ‘Hobby’, ‘News’, ‘Fashion’, ‘Beauty’ 등 상업적 연관성이 높은 도메인을 선별하고, LLM(Φ‑4, Llama 3‑70B) 기반 이진 레이블링·QA 피드백 루프를 통해 ‘Relevant’ 텍스트만을 추출한다. 중복 제거와 저품질 필터링을 거친 후, 최종 토큰 수는 350 억에 달한다. 이는 기존 BioBERT·FinBERT 등 도메인 특화 모델보다 한 차원 높은 규모이며, 도메인 분포가 시각화된 Figure 1에서 확인할 수 있다.

두 번째 기여는 ModernBERT의 최신 아키텍처를 그대로 차용하면서도 전자상거래 텍스트의 특성을 반영한 3단계 학습 커리큘럼이다. Phase 1에서는 1.7 조 토큰의 다중 도메인(웹, 도서, 코드, 기술 문서) 혼합 데이터를 512 토큰 길이와 30 % 마스킹 비율로 학습해 일반 언어 이해 능력을 확보한다. Phase 2에서는 RoPE 기반 회전 위치 임베딩과 NTK‑aware 스케일링을 적용해 최대 시퀀스 길이를 8,192 토큰으로 확장하고, 전자상거래 페이지와 FAQ 같은 장문 텍스트를 효율적으로 처리한다. Phase 3에서는 ‘Guided MLM’이라는 도메인‑중심 마스킹 전략을 도입한다. 경량 엔티티·속성 마이닝 파이프라인으로 식별된 제품명·속성 구문을 우선 마스킹함으로써, 모델이 핵심 상업 정보를 더 깊이 학습하도록 유도한다. 마스킹 비율은 10 %~15 %로 낮추어 과적합을 방지하고, 샘플링 가중치를 점진적으로 Ecom‑niverse에 편향시켜 ‘앙상블’ 효과를 얻는다.

학습 최적화 측면에서는 50,368 토큰 vocab을 갖는 OLMo 기반 BPE 토크나이저와 StableAdamW(클리핑 포함) 옵티마이저를 사용한다. 학습률 스케줄은 ‘Warmup‑Stable‑Decay’(WSD) 형태의 트라페zo이드 곡선으로, 대부분의 학습 단계에서 일정 학습률을 유지해 안정성을 높인다.

모델 구성은 4가지 규모(17 M, 68 M, 150 M, 400 M)로, 레이어 수·히든 차원·어텐션 헤드 수가 단계적으로 증가한다. 실험에서는 GLUE 전반, Amazon ESCI 기반 토큰 분류·시맨틱 유사도, 그리고 일반 NLU 벤치마크에 대해 기존 BERT‑large, RoBERTa‑base, 그리고 최신 Long‑Context 모델과 비교했다. 결과는 파라미터가 2‑3배 적음에도 불구하고, 특히 토큰 분류 정확도와 Spearman 상관계수에서 도메인‑특화 모델이 일관적으로 우위에 있음을 보여준다. 이는 ‘고품질 도메인 데이터 + 원칙적인 학습 커리큘럼’이 무조건적인 스케일링보다 효과적이라는 핵심 메시지를 뒷받침한다.

한계점으로는 레이블링 단계에서 LLM 의존도가 높아 라벨 품질 변동성이 존재할 수 있으며, 현재는 영어 텍스트에만 초점을 맞추어 다국어 전자상거래 환경에 대한 확장은 추가 연구가 필요하다. 또한, 8 k 토큰 컨텍스트 확장은 메모리 요구량을 크게 증가시켜 실서비스 적용 시 하드웨어 비용을 고려해야 한다.

전반적으로 RexBERT는 데이터 수집·정제·학습 전 과정을 모듈화하고 재현 가능하게 설계함으로써, 전자상거래뿐 아니라 의료·법률·과학 등 다른 전문 분야에도 동일한 파이프라인을 적용할 수 있는 ‘도메인‑맞춤형 인코더 구축 청사진’을 제공한다.