데이터 계층 관리와 AGI를 향한 새로운 패러다임

초록

본 논문은 L0‑L4 5단계의 계층형 데이터 관리 프레임워크를 제안한다. 원시 웹·수학·코드 데이터를 단계별로 정제·선별·재구성하여 품질‑비용‑학습 효율을 균형 있게 맞춘다. LLM을 데이터 품질 평가·편집에 활용함으로써 모델과 데이터가 상호 진화하는 ‘데이터‑모델 공동진화’ 방식을 구현한다. 실험 결과, 고품질 L3·L4 데이터가 중간·정렬 단계에 투입될 때 학습 효율과 최종 성능이 크게 향상됨을 확인했으며, 관련 데이터와 도구를 공개한다.

상세 분석

이 논문은 최근 대규모 언어 모델(LLM) 개발이 데이터 규모 확대에만 의존하는 한계를 짚고, 데이터와 모델이 동시에 진화하는 새로운 패러다임을 제시한다. 핵심은 L0‑L4라는 5단계 계층 구조를 도입해 데이터의 원시성, 정제 정도, 정보 밀도, 구조화 수준을 명확히 구분하고, 각 단계별로 적합한 관리 전략과 학습 역할을 정의한 점이다.

• **L0(원시 데이터)**는 페타바이트 규모의 웹 덤프 등 중복·노이즈가 심한 원본을 그대로 보관한다. 여기서는 추후 재현성을 위해 아카이빙 용도로만 사용한다.
• **L1(필터링 데이터)**는 휴리스틱 기반 정제와 중복 제거를 거쳐 텍스트 포맷을 통일하고 광고·코드 스니펫 등 명백한 잡음을 제거한다. 이는 이후 단계의 데이터 선택·평가에 대한 기본 풀(pool) 역할을 한다.
• **L2(선별 데이터)**는 모델 기반 스코어링이나 도메인 별 분류기를 활용해 정보 밀도가 높은 샘플을 추출한다. 예를 들어 고품질 학술 논문, 기술 문서, 정제된 백과사전 항목 등이 포함된다. 이 단계는 사전 학습 시 광범위한 지식 습득을 지원한다.
• **L3(재구성 데이터)**는 LLM을 이용한 재작성, 합성 생성, 인간 검수를 통해 교육적 의도와 논리적 일관성을 갖춘 텍스트로 변환한다. 교과서 수준의 품질을 목표로 하며, 중간 학습(mid‑training) 단계에서 모델의 추론 능력과 도메인 적응을 크게 촉진한다.
• **L4(조직화 데이터)**는 지식 그래프·데이터베이스 등 구조화된 형식으로 변환하고 사실 검증을 수행한다. 이는 검색 기반 생성(RAG)이나 정밀한 사실 추론에 필수적인 기반을 제공한다.

특히 논문은 LLM을 데이터 관리 도구로 활용한다는 점을 강조한다. 품질 점수 부여, 내용 편집, 합성 데이터 생성 등에 LLM을 투입해 인간 비용을 크게 절감하면서도 높은 정밀도를 유지한다. 이는 데이터‑모델 공동진화의 실현 메커니즘으로, 모델이 개선될수록 더 정교한 데이터 정제와 생성이 가능해지는 긍정적 피드백 루프를 만든다.

실험에서는 영어·중국어 웹, 수학, 코드 네 개 도메인에 대해 L0‑L4 계층을 차례로 구축하고, 각각을 사전 학습, 중간 학습, 정렬 단계에 투입하였다. 결과는 다음과 같다.

1. 학습 효율 향상: 동일한 GPU·시간 조건에서 L3·L4 데이터를 후반에 추가 투입했을 때, 손실 감소 속도가 15 % 이상 빨라졌다.
2. 성능 향상: 수학 도메인에서는 L3 데이터만 사용했을 때 기준 모델 대비 3.2 %의 정확도 상승을 기록했고, 일반 언어 이해 벤치마크에서도 1.8 % 이상의 점수 상승을 보였다.
3. 교차 도메인 효과: 고품질 수학 L3 데이터가 일반 언어 모델의 논리 추론 능력을 강화해, 비수학 테스트에서도 평균 1.4 %의 성능 개선을 가져왔다.

또한, 저자는 다단계 학습 전략이 저품질 샘플에 의한 후기 수렴 포화 현상을 완화한다는 점을 강조한다. 초기에는 대규모 저품질 L1 데이터를 사용해 다양성을 확보하고, 학습이 진행될수록 점진적으로 고품질 L3·L4 데이터를 삽입함으로써 모델이 “노이즈에 잠식”되지 않도록 설계했다.

마지막으로, 논문은 오픈소스 데이터와 툴킷을 제공한다. UltraData‑Math‑L1L3, Ultra‑FineWeb‑en/zh‑L2L3 등 총 6개의 대규모 데이터셋과 HTML 파서, 합성 문제 생성기, 도메인 분류기 등을 공개함으로써 연구 커뮤니티가 바로 활용하고 확장할 수 있도록 했다.

이러한 기여는 현재 LLM 연구가 직면한 데이터 비용·품질·스케일링 한계를 넘어, 데이터 관리의 체계화와 모델‑데이터 상호작용을 통한 지속 가능한 AGI 개발 로드맵을 제시한다는 점에서 의미가 크다.