방송 TV 분석을 위한 멀티모달 주석 프레임워크

본 논문은 방송 텔레비전 콘텐츠의 자동 의미 주석을 목표로, 멀티모달 대형 언어 모델(MLLM)을 활용한 파이프라인을 설계·평가하고, 실제 방송 데이터와 시청률 데이터와의 연계 가능성을 검증한다. 연구는 크게 두 단계로 진행된다. 첫 번째 단계에서는 2025년 이탈리아 주요 채널에서 방영된 4가지 장르(정치·경제 토크쇼, 탐사보도, 문화·생활 프로그램)에서 1분 길이의 클립 100개를 무작위 추출하였다. 각 클립은 ‘시각 환경’, ‘주제’, ‘민감 콘텐츠’, ‘인물명’이라는 네 가지 의미 차원으로 라벨링되었으며, 라벨 체계는 IAB 콘텐츠 분류와 방송 규제 가이드를 결합해 28개의 주제 라벨, 22개의 환경 라벨, 9개의 민감 콘텐츠 라벨, 인물명 리스트를 포함한다. 라벨링은 두 명의 전문가가 독립적으로 수행했으며, Cohen’s κ가 0.70~0.67 수준으로 적절한 일관성을 보였다. 두 번째 단계에서는 두 가지 파이프라인 아키텍처를 설계하였다. 이미지‑프레임 기반 파이프라인은 0.2 fps(12프레임)로 균등 샘플링한 정적 이미지를 입력으로 사용하고, 비디오 기반 파이프라인은 전체 60초 클립을 모델 고유의 비디오 인코더에 그대로 전달한다. 두 파이프라인 모두 동일한 음성‑텍스트 브랜치를 공유한다. 음성‑텍스트 브랜치는 Faster‑Whisper Medium 기반 ASR을 기본으로 하며, 선택적으로 pyannote를 이용한 화자 다이어리제이션과 프로그램 메타데이터(제목, 방송일, 장르)를 추가한다. 이렇게 네 가지 입력 조합(시각만, 시각+ASR, 시각+ASR+메타데이터, 시각+ASR+다이어리제이션+메타데이터)을 동일하게 적용해 모델 간 비교가 가능하도록 설계하였다. 평가에 사용된 모델은 이미지‑프레임 입력을 지원하는 9종(gemini‑3‑pro, gpt‑5‑mini, qwen3‑vl‑235b 등)과 비디오 입력을 지원하는 6종(gemini‑3‑pro, qwen3‑vl‑235b, qwen‑omni 등)으로, 파라미터 규모와 아키텍처 차이가 뚜렷하다. 실험은 정확도, 정밀도, 재현율, F1 점수와 함께 토큰 소비량을 측정하였다. 결과는 세 가지 주요 인사이트를 제공한다. 첫째, 비디오 입력이 항상 우수한 것은 아니다. 파라미터가 큰 대형 모델(예: qwen3‑vl‑235b, gemini‑3‑pro)은 시간적 연속성을 활용해 주제 및 환경 분류에서 2~4%p 정도 정확도 향상을 보였지만, 8~30B 파라미터 규모의 소형 모델은 토큰 수가 급증하면서 오히려 성능이 감소하였다. 이는 현재 API 기반 토큰 제한이 비디오 프레임을 일괄 처리할 때 발생하는 ‘토큰 오버로드’를 의미한다. 둘째, ASR 품질과 메타데이터 제공이 성능에 미치는 영향이 비디오 입력보다 크다. 메타데이터를 포함한 설정에서는 모든 모델이 평균 5%p 이상의 정확도 상승을 기록했으며, 특히 민감 콘텐츠 탐지와 인물명 인식에서 전사 오류가 직접적인 성능 저하 요인으로 작용함을 확인했다. 셋째, 토큰 효율성 측면에서 0.2 fps(12프레임) 샘플링이 18프레임 대비 약 40% 토큰을 절감하면서도 정확도 차이가 미미해 실운용 환경에 가장 적합한 구성으로 판단되었다. 위 결과를 바탕으로 저자들은 최적 파이프라인(이미지‑프레임 12프레임 + ASR + 메타데이터)을 선택하고, 이를 14개의 전체 방송(총 3,000분 이상)에 적용하였다. 자동 주석은 분당 평균 시청률(AMR)과 연령대별(청년, 중년, 고령) 정규화 데이터를 정렬해, 주제별·연령대별 시청 행동을 정량적으로 분석했다. 분석 결과, ‘정치·국제’와 같은 고빈도 주제는 고령층 시청률이 안정적으로 유지되는 반면, ‘문화·생활’ 등 저빈도 주제는 청년층에서 급격한 시청률 변동을 일으키는 패턴이 나타났다. 또한 민감 콘텐츠가 포함된 클립은 전체 시청률이 평균 7%p 감소했으며, 특히 18‑34세 연령대에서 감소폭이 크게 나타났다. 이러한 정량적 연관성은 방송사에게 프로그램 편성·광고 타깃팅 전략을 데이터 기반으로 재조정할 근거를 제공한다. 논문은 세 가지 주요 기여를 제시한다. 첫째, 방송 도메인에 특화된 멀티모달 벤치마크 구축 방법론을 제시하고, 라벨링 프로세스와 데이터 특성을 상세히 기술하였다. 둘째, 이미지‑프레임 vs 비디오 입력에 대한 모델·과업별 성능·비용 트레이드오프를 실증적으로 분석하여, 대형 모델이 비디오 연속성을 활용할 수 있지만 토큰 제한을 고려한 입력 설계가 필요함을 밝혀냈다. 셋째, 실제 방송 데이터에 대한 대규모 자동 주석화와 시청률 연계 분석을 통해, 콘텐츠와 시청자 행동 사이의 정량적 연관성을 입증하였다. 향후 연구에서는 토큰 효율성을 높이는 프레임 선택 알고리즘, 실시간 스트리밍 환경에서의 저지연 추론, 다국어·다문화 방송에 대한 확장성을 검증하는 것이 자연스러운 다음 단계가 될 것으로 제안한다.