아카이브에서 바로 모델까지 과학 언어 모델 직접 학습 실전 가이드

초록

**
본 연구는 원시 arXiv LaTeX 파일을 그대로 이용해 1.36 B 파라미터 규모의 과학 전용 언어 모델을 구축하는 전 과정을 상세히 기록한다. 메타데이터 필터링, LaTeX 정제, 도메인 특화 토크나이저 설계, 2대 A100 GPU 환경에서의 dense Transformer 학습 등 24번의 실험을 통해 데이터 손실, 토큰 압축, 학습 안정성, 인프라 병목 등을 정량적으로 분석한다. 52 B 토큰 규모의 데이터‑풍부 regime에서 안정적인 수렴을 확인하고, 제한된 컴퓨팅 자원 하에서도 재현 가능한 파이프라인을 제공한다.

**

상세 분석

**
이 논문은 과학 분야 특화 언어 모델을 구축하려는 연구자들에게 가장 실용적인 ‘엔드‑투‑엔드’ 가이드를 제시한다. 첫 번째 강점은 원시 arXiv LaTeX 소스를 그대로 활용한다는 점이다. 저자들은 메타데이터 기반 필터링(주제, 연도, 철회 논문 제외, 최소 본문 길이 2 000자)과 자동 아카이브 무결성 검증을 통해 80 GB의 고품질 텍스트를 확보했으며, 중복 제거와 근접 중복 탐지를 통해 데이터 손실을 최소화했다. 그러나 LaTeX 파싱 과정에서 발생하는 구조적 오류와 커스텀 매크로는 여전히 10 % 수준의 데이터 손실을 야기한다는 점을 명시하고, 향후 파싱 엔진 개선 필요성을 강조한다.

두 번째 핵심은 토크나이저 설계이다. 일반적인 웹 텍스트용 BPE나 SentencePiece 토크나이저는 수식 기호를 과도하게 분할해 시퀀스 길이를 불필요하게 늘린다. 저자들은 102 400 토큰 규모의 LLaMA‑호환 SentencePiece 토크나이저를 선택했으며, LaTeX 명령어와 연산자를 하나의 토큰으로 유지하도록 사전 학습 데이터를 조정했다. 실험 결과, 도메인 전용 토크나이저와 일반 토크나이저 간 압축 효율 차이는 5 % 정도였지만, 수식 토큰의 일관성 유지가 학습 초기 안정성에 크게 기여함을 확인했다.

세 번째로, 모델 아키텍처와 학습 인프라 선택이 중요한데, 저자는 1.36 B 파라미터 dense decoder‑only Transformer(LLaMA 기반)를 채택했다. MoE와 같은 희소 모델은 라우팅 복잡도와 통신 오버헤드가 커 제한된 2 × A100 환경에서는 오히려 불리하다는 판단이다. 학습은 FP16 혼합 정밀도와 ZeRO Stage 2 메모리 최적화를 활용해 전역 배치 크기 512–2 048, 마이크로 배치 1–2 시퀀스로 구성했으며, 5 000–8 000 GPU‑hour 비용으로 52 B 토큰을 처리했다.

특히 Chinchilla 스케일링 법칙(T ≈ 20 × P)을 적용해 27 B 토큰이 최적이라고 제시하지만, 저자는 데이터‑풍부 regime(≈ 38 토큰/파라미터)에서 과학적 커버리지를 우선시함으로써 모델이 복잡한 수식과 증명 패턴을 더 잘 학습하도록 설계했다. 24번의 실험 중 초기 작은 데이터(20 GB)에서는 손실 진동과 수렴 지연이 관찰됐으며, 데이터 규모를 200 GB로 확대하면서 손실 곡선이 부드럽게 감소하고 안정적인 수렴을 보였다.

마지막으로 인프라 병목을 상세히 분석한다. 데이터 스트리밍 I/O가 GPU 활용률을 85 % 이하로 끌어내리는 주요 원인으로 지목됐으며, 고속 NVMe 스토리지와 파이프라인 병렬화를 통해 이를 완화했다. 또한, 학습 중 발생한 메모리 압박을 완화하기 위해 활성화 체크포인팅과 FSDP를 병행 사용했으며, 이는 전체 학습 시간 대비 메모리 사용량을 30 % 절감하는 효과를 냈다.

이러한 전반적인 분석은 제한된 컴퓨팅 자원 하에서도 과학 분야 특화 LLM을 구축하려는 연구자들에게 실질적인 설계 지표와 위험 요소를 제공한다.

**