바이오맘바: 도메인 적응형 Mamba 모델로 의료 텍스트와 일반 언어를 동시에 강화

초록

BioMamba는 공개된 Mamba2 모델을 PubMed 데이터와 소량의 C4·위키피디아 데이터를 혼합해 3에폭 동안 지속 사전학습한 결과, 의료 논문·임상 기록 모두에서 퍼플렉시티와 QA 정확도가 크게 향상되었으며, 일반 도메인 성능은 거의 유지되는 균형 잡힌 도메인 적응 전략을 제시한다.

상세 분석

본 연구는 최신 상태공간 모델인 Mamba2를 기반으로, 의료 분야 특화 언어 모델을 구축하기 위한 “도메인 적응형 지속 사전학습” 파이프라인을 체계적으로 검증한다. 먼저 130 M2.7 B 파라미터 규모의 다섯 모델을 동일한 GPT‑NeoX 토크나이저(50 280 vocab)로 초기화하고, PubMed 초록(≈80 %)과 일반 웹 텍스트 C4(≈10 %), 영어 위키피디아(≈10 %)를 1 024 토큰 길이의 시퀀스로 구성한 508 K 샘플 데이터셋에 3 epoch, AdamW(β=0.1)와 BF16 혼합 정밀도로 학습한다. 중요한 설계는 “레이어‑와이즈 학습률 감쇠”와 “보수적 워밍업‑스테이블‑디케이” 스케줄을 적용해 하위 레이어는 낮은 학습률(감쇠 0.900.95)로 업데이트함으로써, 일반 도메인 지식의 소멸(카탈리시스 포깃팅)을 최소화한다.

실험 결과는 세 가지 축을 중심으로 평가된다. ① 언어 모델링 측면에서 내부 검증 셋( PubMed, Wiki, C4 각각 1 000 시퀀스)으로 퍼플렉시티를 측정했을 때, BioMamba는 모든 규모에서 PubMed 퍼플렉시티를 711 % 감소시켰으며, 위키피디아 퍼플렉시티도 유의하게 낮아졌다. 반면 C4 퍼플렉시티 변화는 ±1 %에 머물러 일반 도메인 능력 보존을 확인한다. ② 다운스트림 의료 QA(BioASQ, PubMedQA)에서는 파인튜닝 후 정확도가 각각 90.24 %와 73.00 %에 도달했으며, 매크로‑F1 점수도 기존 Mamba2 대비 현저히 상승한다. ③ 임상 텍스트 생성(노트 완성, 퇴원 요약)에서는 MIMIC‑IV 데이터셋을 환자‑레벨로 분리해 500개 테스트 샘플에 대해 ROUGE‑1/2/L을 측정했으며, BioMamba+SFT는 동일 규모의 베이스 모델보다 일관적으로 높은 점수를 기록했다. 특히 130 M1.3 B 모델에서 note completion ROUGE‑L이 0.42→0.48, discharge summary ROUGE‑2가 0.31→0.36으로 개선되었다.

또한, 공개된 BioBERT, PubMedBERT, BioGPT 등 Transformer 기반 베이스라인과 비교했을 때, 비슷한 파라미터 규모에서 Mamba 기반 BioMamba는 선형 시간 복잡도와 긴 컨텍스트 처리 능력 덕분에 메모리 효율성을 유지하면서도 성능 격차를 메우거나 초과한다는 점을 강조한다. 저자는 모델 자체의 구조적 변형 없이 데이터 믹싱과 학습 스케줄만으로 “도메인 적응 + 일반 도메인 보존”이라는 두 마리 토끼를 잡을 수 있음을 실증한다.

한계점으로는 (1) C4와 위키피디아 비중이 상대적으로 낮아 일반 도메인 평가가 제한적이며, (2) 파인튜닝 시 전체 파라미터를 업데이트했기 때문에 파라미터 효율성(예: LoRA, Prompt‑Tuning) 검증이 부족했다는 점을 언급한다. 향후 연구에서는 더 다양한 일반 도메인 베이스라인과의 토크나이저‑공정 비교, 그리고 파라미터‑경량 적응 기법을 결합해 실시간 임상 지원 시스템에 적용하는 방안을 제시한다.

요약하면, BioMamba는 Mamba2의 선형‑시간 SSM 구조를 그대로 활용하면서, 의료 특화 데이터와 일반 데이터의 비율을 조절한 지속 사전학습이 모델의 도메인 특화 능력을 크게 끌어올리면서도 일반 언어 이해를 손상시키지 않는 효과적인 전략임을 입증한다. 이는 장기 컨텍스트가 중요한 전자 의료 기록, 임상 가이드라인, 그리고 학술 논문 요약 등 다양한 바이오메디컬 NLP 작업에 실용적인 기반 모델로 활용될 수 있음을 시사한다.