동적 다언어 정밀 개체명 인식 데이터셋 DynamicNER와 경량 LLM 기반 CascadeNER

초록

DynamicNER는 8개 언어와 155개의 세분화된 엔터티 유형을 포함한 최초의 동적 분류 NER 데이터셋으로, 기존 고정형 데이터셋의 한계를 극복한다. 동적 카테고리화 전략(유형 혼합, 동의어 교체, 불필요한 유형 제거, 기타 유형 병합)을 통해 동일 엔터티에 상황에 따라 다른 라벨을 부여함으로써 LLM의 일반화 능력을 평가한다. 또한 경량 LLM을 두 단계(추출·분류)로 연결한 CascadeNER를 제안해, 대형 상용 모델에 비해 적은 연산량으로 높은 정확도를 달성한다. 실험 결과 DynamicNER가 LLM 기반 NER 방법의 강점과 약점을 명확히 드러내며, CascadeNER가 경량 모델에서도 경쟁력 있는 성능을 보여준다.

상세 분석

DynamicNER는 기존 NER 벤치마크가 갖는 세 가지 주요 결함—다언어 지원 부족, 세분화된 라벨 부족, 고정된 엔터티 스키마—을 동시에 해결한다는 점에서 학술적·실용적 의의가 크다. 먼저 8개 언어(영어, 중국어, 스페인어, 프랑스어, 독일어, 일본어, 한국어, 러시아어)를 포괄함으로써 LLM의 다언어 전이 능력을 정량화할 수 있다. 특히 8개의 거시적, 31개의 중간, 155개의 미세 라벨 체계는 기존 CoNLL‑2003(4라벨)이나 FewNERD(66라벨)와 비교해 라벨 공간이 2~3배 이상 확대돼, 모델이 라벨 간 미묘한 의미 차이를 학습하도록 강제한다.

동적 카테고리화는 “동일 엔터티에 대해 상황에 따라 다른 라벨 리스트를 제공”한다는 혁신적인 설계다. 네 가지 변형 전략(다중 granularity 혼합, 동의어 교체, 불필요 라벨 제거, 기타 라벨 병합)을 순차적으로 적용하고, cohesion, normalized entropy, Gini coefficient, variation coefficient와 같은 정량적 메트릭으로 품질을 제어한다. 이는 데이터 편향을 최소화하고, 라벨 분포의 균형을 유지하면서도 과적합 위험을 낮춘다. 특히, 동적 라벨링은 few‑shot/zero‑shot 프롬프트 설계에서 엔터티 타입 정보를 제한적으로 제공함으로써, LLM이 실제 “개념 일반화” 능력을 발휘하도록 만든다.

CascadeNER는 두 단계로 NER을 재구성한다. 1단계는 경량 LLM(1.5B7B 파라미터)에게 텍스트에서 잠재적 엔터티 스팬을 추출하도록 프롬프트하고, 2단계에서는 별도 경량 LLM에게 해당 스팬을 미세 라벨 중 하나로 분류하도록 한다. 이때 각 단계는 독립적으로 미세 조정되며, 사전 지식(예: 엔터티 타입 사전)과 연계해 다언어·다도메인 상황에서도 일관된 성능을 유지한다. 실험 결과, CascadeNER는 동일 파라미터 규모의 기존 BERT‑MRC 기반 모델보다 F1 점수에서 평균 46%p 상승했으며, GPT‑4 기반 프롬프트 방식보다 연산 비용과 API 호출 비용을 크게 절감했다.

전체 실험에서는 (1) 기존 감독 학습 모델, (2) GPT‑3/4 기반 few‑shot 모델, (3) 제안된 CascadeNER를 DynamicNER와 기존 벤치마크에 적용했다. 결과는 LLM 기반 모델이 특히 저자원·다언어 상황에서 강점을 보이지만, 경량 LLM은 라벨 수가 급증할수록 성능 저하가 두드러진다는 한계를 드러냈다. 이는 라벨 스페이스가 확대될수록 모델이 “라벨 기억”에 의존하게 되며, 동적 카테고리화가 이를 완화시키는 데 효과적임을 시사한다.

결론적으로, DynamicNER는 LLM 기반 NER 연구에 필요한 “동적·다언어·다계층” 평가 환경을 제공하고, CascadeNER는 경량 LLM으로도 실용적인 NER 성능을 달성할 수 있음을 입증한다. 향후 연구는 라벨 자동 생성, 지속적 업데이트 메커니즘, 그리고 더 큰 규모의 경량 LLM을 활용한 실시간 엔터티 인식으로 확장될 수 있다.