멀티모달 데이터 품질을 다차원으로 해석하는 SkillRater

초록

SkillRater는 데이터 필터링을 단일 스칼라 점수가 아닌, 시각 이해, OCR, STEM 추론 등 서로 다른 능력별로 독립적인 평가자를 학습시켜 다차원 점수로 변환한다. 각 평가자는 별도의 검증 목표에 메타러닝으로 최적화되며, 훈련 단계마다 “any‑rater‑above‑threshold” 규칙으로 점진적으로 샘플을 선택한다. 2B 파라미터 비전‑언어 모델에 적용한 결과, 기존 단일 평가자 방식보다 시각 이해(+5.63%), OCR(+2.00%), STEM(+3.53%)에서 유의미한 향상을 보였다.

상세 분석

SkillRater는 기존 데이터 필터링이 하나의 스칼라 점수에 의존한다는 근본적인 한계를 지적한다. 멀티모달 모델은 시각‑언어 정합성, 텍스트 인식, 과학·수학 추론 등 서로 다른 능력을 동시에 학습해야 하므로, 각 능력에 최적화된 샘플이 다를 수 있다. 이를 해결하기 위해 논문은 세 개의 독립적인 rater(Visual Understanding, OCR, STEM)를 메타러닝 기반 bilevel 최적화 프레임워크에 배치한다. 각 rater는 전용 검증 벤치마크(SEED‑Bench, TextVQA 등)에서 성능을 직접 최적화하므로, 샘플에 대한 점수가 해당 능력에 대한 실제 기여도를 반영한다.

내부 구현에서는 DataRater의 bilevel 구조를 확장해, 각 rater가 자신의 검증 손실을 최소화하도록 별도 파라미터 ϕ_c 를 학습한다. Inner‑loop에서는 가중치 w_z = r_ϕ_c(z) 로 샘플을 가중하고, 제한된 SGD 스텝을 수행한다. Outer‑loop에서는 검증 손실에 대한 메타그라디언트를 계산해 ϕ_c 를 업데이트한다. 메모리 부담을 완화하기 위해 1차 근사(Stop‑gradient) 방식을 채택하고, 마이크로배치를 스트리밍해 활성화 메모리를 O(B·μ·L·H) 로 축소한다.

선택 규칙은 “union” 방식으로, 단계 t 에서 각 rater의 임계값 τ_c(t) 를 초과하는 샘플이 하나라도 있으면 유지한다. 임계값은 훈련 진행에 따라 quadratic decay E(t)=1−((t−1)/T)^2 로 감소시켜, 초기에는 데이터 다양성을 보존하고 후반부에는 상위 19% 정도의 고품질 샘플에 집중한다. 이 커리큘럼은 서로 다른 능력이 요구하는 품질‑다양성 트레이드오프를 동시에 만족시킨다.

실험 결과는 두 가지 차원에서 설득력을 제공한다. 첫째, 각 rater 간의 점수 상관관계가 평균 0.02 로 거의 독립적이며, 효과적 차원 수가 2.99/3.0 으로 거의 완전한 직교성을 보인다. 이는 다차원 품질 모델링이 실제로 서로 다른 데이터 요구를 포착함을 의미한다. 둘째, 단일 모노리식 rater(150M 파라미터)와 비교했을 때, SkillRater(세 개 rater 합산) 는 전체 정확도에서 48.40% vs 45.89% 로 2.51 포인트, 특히 OCR과 STEM에서 각각 +1.58, +2.73 포인트의 큰 격차를 만든다. 또한 1B 파라미터에서 학습된 rater 를 2B 모델에 그대로 전이했을 때도 성능 손실이 없으며, 커리큘럼 없이 정적 top‑k 필터링을 적용하면 최적 임계값이 벤치마크마다 달라지는 문제를 겪는다. SkillRater의 동적 임계값 스케줄링은 이러한 문제를 자연스럽게 해결한다.

전반적으로 SkillRater는 멀티모달 학습에서 “품질은 다차원이다”라는 가설을 실증하고, 메타러닝 기반 능력별 rater와 점진적 커리큘럼을 결합함으로써 데이터 효율성을 크게 향상시킨다.