방송 뉴스 영상에서 인명 추출을 위한 하이브리드 결정론적 프레임워크

초록

본 논문은 방송 및 소셜 미디어 뉴스 영상에 등장하는 온스크린 인명을 자동으로 탐지·인식하기 위한 결정론적 파이프라인(ANEP)을 제안한다. 새로 구축한 News Graphics Dataset(NGD)와 YOLOv12 기반 그래픽 검출, OCR, Transformer 기반 NER, 이름 클러스터링을 순차적으로 결합해 투명하고 추적 가능한 결과를 제공한다. 동일 조건에서 생성형 멀티모달 모델(Gemini 1.5 Pro, LLaMA 4 Maverick)과 비교했을 때, ANEP는 F1 77.08 %로 약간 낮지만 100 % 재현성과 데이터 라인지를 보장한다.

상세 분석

본 연구는 방송 뉴스 그래픽의 시각적 다양성을 정량화하기 위해 300개 영상에서 1 500프레임을 추출·주석한 News Graphics Dataset(NGD)를 공개하였다. NGD는 하단 3분의 1, 티커, 헤드라인 등 6가지 그래픽 카테고리를 포함하며, 프레임당 평균 3 개 이상의 바운딩 박스를 제공한다. 데이터는 640 × 640 픽셀로 정규화하고 밝기·노이즈 변형을 적용해 모델의 일반화 능력을 강화하였다.

그래픽 검출 단계에서는 YOLO 패밀리 중 최신 버전인 YOLOv12(m)를 자체 학습시켜 95.8 % mAP@0.5, 93.9 % precision, 93.5 % recall를 달성하였다. 이는 외부 사전학습 모델 대비 2~3 %p 상승한 수치이며, 특히 작은 텍스트 오버레이와 겹치는 요소를 정확히 구분하는 데 강점을 보였다. Grad‑CAM 분석을 통해 모델이 텍스트가 밀집된 하단 3분의 1 영역에 높은 활성화를 보이는 것을 확인했으며, 눈부심이나 압축 아티팩트가 있는 프레임에서도 안정적인 검출이 가능했다.

검출된 ROI에 대해서는 대비 강화·적응형 임계값 적용 후 Tesseract OCR을 수행하였다. OCR 전처리 단계에서 CLAHE와 가우시안 블러를 조합해 저해상도 텍스트의 가독성을 높였으며, confidence ≥ 0.6인 결과만을 다음 단계로 전달했다. OCR 출력은 여전히 노이즈가 존재하므로, Transformer 기반 사전학습 모델(BERT‑large) 위에 도메인 특화 파인튜닝을 진행한 NER 모듈을 적용하였다. 이 모듈은 인명 라벨링에 92 % F1을 기록했으며, 사전 정의된 휴리스틱(예: 대문자 연속, 공백 패턴)과 결합해 오탐을 억제했다.

마지막으로 이름 클러스터링 단계에서는 문자열 유사도(Jaccard), 퍼지 매칭, 그리고 문맥 임베딩(문장‑BERT) 기반 유사도 결합을 통해 동일 인물의 다양한 표기(예: “J. Doe”, “John Doe”)를 하나의 정규화된 엔트리로 통합하였다. 이 과정은 시간축 상의 등장 구간을 합산해 타임라인을 생성함으로써, 방송 흐름 내에서 인물의 등장·소멸을 시각화한다.

생성형 멀티모달 베이스라인으로는 Gemini 1.5 Pro와 LLaMA 4 Maverick을 사용했으며, 프레임당 base64 이미지와 구조화된 프롬프트를 전달해 이름만을 추출하도록 설계했다. Gemini는 93.33 % precision, 76.67 % recall, F1 84.18 %를 기록했지만, 내부 추론 과정이 블랙박스로 남아 데이터 라인지를 검증하기 어려웠다. LLaMA는 전반적으로 낮은 recall(50 %)을 보이며, 변동성이 큰 결과를 산출했다.

성능 대비 비용을 비교하면, ANEP는 1 FPS 샘플링 기준으로 평균 542 초의 처리 시간을 요구하는 반면, Gemini는 95 초, LLaMA는 140 초에 머물렀다. 이는 ANEP가 다단계 전처리·후처리와 클러스터링을 수행하기 때문이며, 실시간 모니터링보다는 정확도·투명성 확보가 핵심인 저널리즘·법률 감시 분야에 적합함을 의미한다.

결론적으로, 본 논문은 결정론적 파이프라인이 제공하는 “감사 가능성(auditability)·재현성(reproducibility)”을 강조하면서도, 최신 객체 검출·OCR·NER 기술을 결합해 실용적인 수준의 인명 추출 성능을 달성했다는 점에서 의미가 크다. 향후 연구에서는 경량화된 YOLOv12 변형과 GPU‑가속 OCR을 도입해 런타임을 단축하고, 멀티모달 디코더를 선택적 보조 모듈로 연결해 정확도와 투명성 사이의 최적 균형을 탐색할 수 있다.