UNIKIE‑BENCH: 대규모 멀티모달 모델을 위한 통합 키 정보 추출 벤치마크

초록

UNIKIE‑BENCH는 실제 문서의 레이아웃·품질·스키마 다양성을 반영한 두 가지 트랙(제한‑카테고리·오픈‑카테고리)으로 LMM 기반 키 정보 추출(KIE) 성능을 종합적으로 평가한다. 15개 최신 LMM을 실험한 결과, 스키마 복잡도·롱테일 필드·복잡 레이아웃에서 성능이 크게 저하되고, 문서 유형·시나리오별로 편차가 심함을 확인했다.

상세 분석

본 논문은 기존 KIE 벤치마크가 갖는 “시나리오·스키마 불일치”, “OCR 의존성”, “평가 지표 단일성” 등의 한계를 지적하고, 이를 보완하기 위해 UNIKIE‑BENCH라는 통합 벤치마크를 제안한다. 핵심 설계는 스키마‑가이드 구조화 예측이다. 기존 QA‑형식은 필드당 독립 추론을 요구해 레이아웃 간 관계를 반영하지 못했지만, UNIKIE‑BENCH는 문서 이미지와 스키마(필드 집합 F와 관계 R)를 동시에 입력받아 한 번의 추론으로 전체 구조화 출력을 생성하도록 정의한다(식 3).

두 트랙은 다음과 같이 구분된다.

1. 제한‑카테고리 트랙: 3개 도메인(비즈니스·공공·규제)·11개 시나리오에 걸쳐 4,472개 문서(평균 3~9필드)와 사전 정의된 스키마를 제공한다. 각 시나리오별로 실무에서 요구되는 핵심 필드를 선정하고, 기존 데이터셋을 매핑·재주석화해 스키마 일관성을 확보한다.
2. 오픈‑카테고리 트랙: 언어(영·중)·문서 유형(영수증·양식·청구서·계약서) 기준으로 1,661개 문서를 수집·생성한다. 각 문서는 고유 스키마를 갖으며, LLM‑기반 문서 생성 파이프라인을 통해 실제 레이아웃·노이즈를 재현한다.

데이터 규모와 다양성 측면에서 기존 OCRBench, CC‑OCR 등과 비교했을 때, UNIKIE‑BENCH는 도메인·시나리오·스키마·시각적 변이를 모두 포괄하는 가장 포괄적인 KIE 평가 집합이다(표 3).

실험에서는 MiniCPM‑V, Qwen2.5‑VL, Kosmos‑2.5 등 15개 최신 LMM을 평가했으며, 주요 발견은 다음과 같다.

• 스키마 복잡도에 대한 민감도: 필드 수가 8~9개 이상인 경우 F1 점수가 평균 12%p 급감했다.
• 롱테일 필드: 빈도가 낮은 필드(예: “contact”, “email”)는 정확도가 30% 이하로 떨어졌다.
• 레이아웃 복잡성: 다중 컬럼·표·이미지 삽입이 포함된 문서는 전체 성능을 15%p 감소시켰으며, 특히 시각적 노이즈(흐림·왜곡)가 가미될 경우 오류가 급증했다.
• 문서 유형·시나리오 격차: 영수증·청구서와 같은 단순 레이아웃은 80% 이상 F1를 유지했지만, 계약서·양식처럼 구조가 복잡한 유형은 55% 수준에 머물렀다.
• 스키마‑그라운딩: 모델이 스키마를 정확히 이해하지 못하고, 필드 이름을 텍스트와 혼동하는 사례가 빈번했다. 이는 현재 LMM이 “텍스트 인식”에 강하지만 “구조적 의미 매핑”에는 한계가 있음을 시사한다.

또한, 오픈‑카테고리 트랙에서는 사전 정의된 스키마가 없으므로 모델이 전역적인 정보 탐색과 동적 스키마 생성 능력을 보여야 한다. 실험 결과 대부분의 모델이 30~40% 수준의 정확도에 머물렀으며, 특히 영어 문서에서 복잡 스키마가 20%p 이하로 감소했다.

논문은 이러한 결과를 바탕으로, LMM이 시각‑텍스트 통합 인코더와 스키마‑조건부 디코더를 동시에 학습하는 전용 사전학습이 필요함을 강조한다. 또한, 레이아웃‑인식 강화, 롱테일 필드에 대한 데이터 증강, 멀티‑태스크 학습을 통한 구조적 일반화 향상이 향후 연구 방향으로 제시된다.