다국어 정밀 개체명 인식 플랫폼 AWED‑FiNER

초록

AWED‑FiNER는 36개 언어(6.6 억 명 이상)에서 정밀 개체명 인식을 제공하는 오픈소스 에이전트 툴, 웹 애플리케이션, 53개의 경량 전문가 모델을 통합한 시스템이다. XLM‑R, MuRIL, IndicBERT v2 기반 모델을 각 언어·데이터셋에 맞게 미세조정했으며, 매크로‑F1 기준으로 높은 성능을 보인다. 에이전트 툴은 입력 텍스트를 자동으로 적절한 모델에 라우팅하고, 웹 인터페이스는 비전문가도 손쉽게 활용할 수 있다. 경량 모델 덕분에 엣지 디바이스에서도 배포가 가능하다.

상세 분석

본 논문은 정밀 개체명 인식(Fine‑grained NER, 이하 FgNER) 분야에서 다국어·다도메인 지원을 동시에 달성한 최초의 통합 플랫폼을 제시한다는 점에서 학술적·실용적 의의가 크다. 먼저, 36개 언어를 포괄하는 모델 컬렉션은 기존 고자원 언어 중심 NER 도구와 달리 저자원·취약 언어(Assamese, Santali, Bodo 등)를 포함한다는 점에서 언어 형평성에 크게 기여한다. 모델은 XLM‑R‑large, MuRIL‑large, IndicBERT v2‑MLM‑SamtLM 등 최신 멀티언어 사전학습 모델을 기반으로 하며, 파라미터 수가 355 M 이하인 경량 구조를 유지한다. 이는 GPU 메모리 제한이 있는 환경이나 모바일·엣지 디바이스에 직접 배포할 수 있게 한다.

미세조정 데이터셋으로는 MultiCoNER2, FewNERD, CLASSER, SampurNER, FiNERVINER, APTFiNER, FiNE‑MiBBiC 등 7가지 대규모 FgNER 코퍼스를 활용했으며, 각 언어별 최적 모델을 매크로‑F1 점수 기준으로 선정한다. 표 1에 제시된 결과는 대부분 70 % 이상, 특히 영어·중국어·프랑스어 등 고자원 언어에서 80 %에 육박하는 성능을 보여준다. 저자원 언어에서도 60 %대 매크로‑F1을 달성해, 기존 단일 모델 대비 현저히 개선된 점을 확인할 수 있다.

시스템 아키텍처는 세 가지 핵심 요소로 구성된다. 1) Agentic Toolkit은 smolagents 프레임워크 위에 구축돼, 입력 언어를 자동 감지하고 해당 언어에 최적화된 전문가 모델을 호출한다. 2) 웹 애플리케이션은 Hugging Face Spaces와 Gradio를 이용해 실시간 시각화와 인터랙티브 라벨링을 제공한다. 3) 53개의 전문가 모델은 모두 Hugging Face Hub에 공개돼, 사용자는 필요에 따라 개별 모델을 다운로드하거나 API 형태로 호출할 수 있다. 이러한 설계는 LLM 기반 파이프라인과의 원활한 연동을 목표로 하며, 자동화된 워크플로우에서 정밀 개체명 인식을 플러그인 형태로 삽입할 수 있게 한다.

한계점으로는 (1) 모델 파라미터가 경량임에도 불구하고 여전히 200 M~300 M 수준으로, 극히 제한된 메모리(예: MCU)에서는 실행이 어려울 수 있다. (2) 평가가 매크로‑F1 하나에 의존해, 레이블 불균형이나 특정 서브타입 성능을 상세히 파악하지 못한다. (3) 에이전트 라우팅 로직이 언어 감지에 의존하므로, 코드스위칭이 빈번한 다중언어 텍스트에서는 오탐이 발생할 가능성이 있다. 향후 연구에서는 파라미터 효율성을 높인 프루닝·양자화 기법 적용, 다중 라벨링 및 계층형 평가 지표 도입, 그리고 코드스위칭 상황을 위한 다중 언어 혼합 라우팅 전략을 탐색할 필요가 있다.

전반적으로 AWED‑FiNER는 다언어 정밀 NER을 실용적인 서비스 수준으로 끌어올린 중요한 시도이며, 특히 저자원·취약 언어 커뮤니티에 큰 파급 효과를 기대한다.