멀티태스크 멀티모달 사전학습을 위한 작업 인식 데이터 선택 TADS

초록

TADS는 대규모 웹 크롤링 데이터의 잡음과 중복을 제거하고, 다중 작업에 대한 유용성을 동시에 고려한 데이터 선택 프레임워크이다. 내재 품질, 작업 관련성, 분포 다양성을 통합한 가치 함수와 메타‑러닝 기반 피드백 루프를 통해 36 %의 데이터만 사용해도 기존 방법보다 평균 1.0 % 높은 제로샷 성능을 달성한다.

상세 분석

본 논문은 멀티모달 사전학습 모델, 특히 CLIP 계열이 데이터 품질에 크게 의존한다는 점을 출발점으로 삼는다. 기존의 휴리스틱 기반 필터링은 단일 지표(예: 이미지 해상도, 텍스트 길이, CLIP 코사인 유사도)만을 사용해 비선형 잡음을 포착하지 못하고, 데이터‑드리븐 방식은 전반적인 품질만을 평가해 작업별 특성을 반영하지 못한다는 한계를 지적한다. TADS는 이러한 문제를 세 가지 축으로 해결한다.

1. Intrinsic Quality 평가: 이미지와 텍스트 각각에 대해 다중 단계 연산자를 설계한다. 이미지 측면에서는 해상도·색상 왜곡·노이즈 레벨을, 텍스트 측면에서는 길이·문법·오류·OCR‑텍스트와 캡션 간 정합성을 포함한 30여 개의 특성을 추출한다. 이들 특성은 약한 지도(weak supervision)와 소량의 인간 라벨을 결합한 하이브리드 학습으로 품질 점수 S₍init₎를 산출한다.

2. Task Relevance 양자화: 각 다운스트림 작업(이미지 분류, 이미지‑텍스트 검색, OCR‑중심 과제 등)에 대해 프로토타입 벡터를 사전 정의하고, 후보 샘플을 동일한 임베딩 공간에 투사한다. 코사인 유사도 기반의 다중 차원 유사도 벡터를 “관련성 벡터”로 변환해, 샘플이 여러 작업에 동시에 기여하는 정도를 정량화한다. 이는 기존 단일 작업 최적화와 달리 다중 목표 간 트레이드오프를 명시적으로 모델링한다.

3. Distributional Diversity: 클러스터링(K‑Means)으로 전체 데이터셋을 의미론적 군집으로 나눈 뒤, 각 군집 내에서 샘플 밀도에 역비례하는 가중치를 부여한다. 이는 장-tail 개념을 보존하고, 특정 작업에 편향된 고밀도 영역을 과도하게 선택하는 것을 방지한다.

세 축의 점수를 비선형으로 결합하는 Data Value Network (DVN) 를 설계하고, 내부 루프에서는 작은 프록시 모델(경량 CLIP)로 선택된 서브셋을 학습시켜 다중 작업의 제로샷 성능을 측정한다. 외부 루프는 메타‑러닝 방식으로 DVN 파라미터를 업데이트하며, 다중 작업 손실의 가중합을 그래디언트 신호로 사용한다. 이렇게 얻어진 가치 함수는 데이터 선택 단계에서 샘플별 “가치”를 직접 예측하고, 최종적으로 품질·관련성·다양성의 최적 균형을 이루는 서브셋을 추출한다.

실험에서는 CC12M(≈12 M 이미지‑텍스트 쌍)에서 36 %(≈4.3 M)만을 선택했음에도 불구하고, ImageNet‑1K, CIFAR‑100, MS‑COCO, Flickr30K 등 8개의 베치마크에서 평균 1.0 %p(절대) 이상의 성능 향상을 기록했다. 특히, OCR‑중심 작업에서는 기존 방법 대비 2.3 %p 상승했으며, 장-tail 카테고리의 재현율도 크게 개선되었다. Ablation study는 각 구성 요소(품질 연산자, 작업 관련성, 다양성 가중치)가 독립적으로 기여함을 확인하고, 메타‑러닝 루프 없이 단순 스코어링만 사용할 경우 성능이 0.6 %p 이하로 떨어짐을 보여준다.

결과적으로 TADS는 “품질 > 양”이라는 기존 인식을 정량적으로 입증하고, 다중 작업 환경에서 데이터 선택이 어떻게 상호 보완적으로 작동할 수 있는지를 제시한다. 향후 연구에서는 더 많은 작업 유형(예: 비디오‑텍스트, 3D‑이미지)과 실시간 데이터 스트리밍 상황에 적용 가능한 온라인 버전으로 확장할 여지가 있다.