FiNERweb: 91개 언어를 아우르는 확장형 다국어 개체명 인식 데이터셋

초록

최근 다국어 개체명 인식 연구는 대규모 언어 모델이 효과적인 합성 감독을 제공할 수 있음을 보여주었으나, 이러한 데이터셋은 체계적이고 재사용 가능한 자원보다는 광범위한 실험의 부산물로 나타나는 경우가 많았습니다. 본 연구는 교사-학생 패러다임을 91개 언어와 25개 문자 체계로 확장하는 데이터셋 생성 파이프라인인 FiNERweb을 소개합니다. FineWeb-Edu를 기반으로 NER 관련 문단을 식별하는 회귀 모델을 훈련하고 다국어 LLM으로 주석을 달아, 약 225k개의 문단과 235k개의 고유 엔터티 레이블을 가진 데이터셋을 구축했습니다. 실험 결과, 회귀 모델은 84 이상의 F1 점수를 달성했으며, FiNERweb으로 훈련된 모델은 강력한 기준선보다 19배 적은 데이터로 훈련되었음에도 영어, 태국어, 스와힐리어에서 제로샷 전이 설정에서 비슷하거나 향상된 성능을 보였습니다. 또한 LLM-as-a-judge를 사용한 주석 품질 평가에서 신뢰도(3.99/5)와 완전성(4.05/5) 모두 일관되게 높은 점수를 관찰하여 신뢰할 수 있고 유익한 주석임을 확인했습니다. 연구팀은 FiNERweb 데이터셋과 모든 관련 아티팩트를 연구 커뮤니티에 공개하여 다국어 개체명 인식을 위한 보다 효과적인 학생-교사 훈련을 촉진하고자 합니다.

상세 분석

본 논문이 제시하는 FiNERweb 파이프라인의 기술적 핵심은 크게 세 단계로 구성된 확장 가능한 다국어 데이터 생성 프로세스에 있습니다. 첫 번째 단계는 ‘고품질 문단 선별’로, FineWeb-2 코퍼스에서 NER 학습에 유용한 텍스트를 필터링하기 위한 회귀 모델을 구축합니다. 이 모델의 훈련 데이터는 GPT-4o mini와 Gemma3-27B를 활용해 91개 언어별로 1,000개 문단을 샘플링하고 각 문단의 ‘NER 유용성’을 1-4점 척도로 평가하여 생성했습니다. 실험 결과, GPT-4o mini의 평가를 바탕으로 XLM-RoBERTa에 훈련된 이진 분류 모델이 84.1 F1의 높은 성능을 보여 효과적인 필터로 작용함을 입증했습니다.

두 번째 단계는 이 회귀 모델을 활용해 전체 FineWeb-2 코퍼스에서 언어당 약 2,500개의 고품질 문단을 선정하는 ‘대규모 필터링’입니다. 이 과정은 광고나 무의미한 콘텐츠와 같은 노이즈를 제거함으로써 후속 주석 작업의 효율성과 정확성을 크게 높입니다.

세 번째이자 가장 중요한 단계는 ‘LLM 기반 주석 생성 및 통합’입니다. 필터링된 문단에 대해 GPT-4o mini와 Gemma3-27B 두 개의 다국어 LLM을 병렬로 사용하여 엔터티 멘션과 타입을 추출합니다. 두 모델의 출력을 정교하게 통합하는 것이 핵심 기여점 중 하나입니다. 정확한 텍스트 매칭 알고리즘을 적용한 후, 스팬 중첩이 50% 이상인 경우 의미론적 유사도(All-MiniLM-L6-v2 임베딩 사용)를 계산하여 0.75 이상이면 레이블을 통합(예: “person” + “human” -> “person / human”)합니다. 이를 통해 단일 모델 사용 시보다 더 풍부하고 정확한 엔터티 타입 세트(최종 235k 고유 타입)를 확보할 수 있었습니다.

또한, 흥미로운 통찰은 ‘레이블 언어의 중요성’에 대한 실험 결과에서 드러납니다. 영어 레이블 대신 목표 언어로 번역된 레이블을 사용하여 SOTA 모델을 평가했을 때 F1 점수가 0.02에서 0.09까지 하락하는 현상을 관찰했습니다. 이는 현재의 다국어 NER 모델이 문화적/언어적 차이를 완전히 반영하지 못하고 있음을 시사하며, FiNERweb이 영어와 현지어 레이블 세트를 모두 제공하는 이유이자, 진정한 다국어 NER을 위한 향후 연구 방향을 제시합니다. 파이프라인의 확장성은 XLM-RoBERTa가 지원하는 언어 집합에 기반하여 91개 언어를 포괄함으로써 입증되었으며, 이는 기존 데이터셋(PAN-X는 레이블이 제한적, DynamicNER는 언어 수가 적음)이 해결하지 못한 광범위한 언어 커버리지와 세분화된 레이블 세트라는 두 마리 토끼를 동시에 잡은 것입니다.