프리즘 기반 절차적 영상 요약

초록

PRISM은 적응형 프레임 샘플링, 라벨 기반 키프레임 앵커링, 대형 언어 모델 검증을 결합한 3단계 프레임워크로, 전체 프레임의 5% 이하만 사용하면서도 84% 이상의 의미 정보를 보존한다. 절차적 전환을 강조하고 허위·중복 내용을 걸러내어 교육·수술 등 고위험 분야의 영상 요약 성능을 크게 향상시킨다.

상세 분석

본 논문은 영상 요약 분야에서 최근 부상하고 있는 비전‑언어 모델(VLM)과 대형 언어 모델(LLM)의 시너지 효과를 체계적으로 활용한다. PRISM은 크게 세 단계로 구성된다. 첫 번째 단계인 적응형 샘플링에서는 1 fps로 추출한 프레임을 ResNet‑18로 임베딩하고, PELT 알고리즘을 통해 시각적 전환점(change point)을 탐지한다. 전환점 사이를 구간으로 나눈 뒤 구간 내 평균 유클리드 거리를 기준으로 δ = 0.30을 초과하는 구간은 두 개의 대표 프레임을, 이하인 구간은 하나의 프레임만 유지함으로써 전체 프레임 수를 5% 이하로 압축한다.

두 번째 단계에서는 샘플링된 프레임마다 VLM(예: BLIP, CLIP, BioMedCLIP)을 이용해 상세 캡션을 생성하고, 이를 라벨(절차적 단계)로 추상화한다. 여기서 라벨은 “양파 다지기”, “프라이팬에 기름 두르기”와 같이 인간이 이해하기 쉬운 형태로 정제된다. 생성된 라벨은 GPT‑4 기반 검증기로 전달되어, 의미가 모호하거나 절차와 무관한 라벨은 자동으로 제외된다. 라벨‑프레임 매핑은 동일한 VLM의 공유 임베딩 공간에서 코사인 유사도 ≥ 0.9인 경우에만 수행되며, 이 임계값을 통해 잡음 프레임(예: 검은 화면, 전환 효과)과 허위 캡션을 효과적으로 차단한다.

세 번째 단계는 선택된 라벨‑프레임 쌍을 시간 순서대로 재구성하고, LLM을 이용해 구간별 요약 문장을 생성한다. 이 과정에서 LLM은 앞선 라벨들의 일관성을 검증하고, 중복된 내용은 병합하면서도 절차적 흐름을 유지한다. 결과적으로 최종 요약은 시각적 핵심 프레임과 텍스트 설명이 결합된 형태가 되며, 기존 방법에 비해 BLEU, METEOR, ROUGE‑L 등 다중 메트릭에서 평균 17.9%~33% 향상을 보인다.

특히 PRISM은 완전한 zero‑shot 설정을 채택해 사전 학습된 라벨이나 외부 어노테이션에 의존하지 않는다. 이는 의료 영상 요약과 같이 라벨링 비용이 높은 도메인에서도 적용 가능함을 시사한다. 실험에서는 TVSum·SumMe의 키프레임 선택 과제와 YouCook2·ActivityNet Captions의 밀집 캡셔닝 과제에서 기존 최첨단 모델들을 크게 앞섰으며, 특히 YouCook2에서는 METEOR 점수에서 33% 이상의 상대적 개선을 달성했다.

요약하면, PRISM은 (1) 시각적 변화를 기반으로 효율적인 프레임 압축, (2) VLM‑LLM 연계 라벨 생성·검증, (3) 고신뢰도 라벨‑프레임 매핑 및 LLM 기반 텍스트 정제라는 세 축을 통해 “덜 사용해도 더 많은 의미를 전달한다”는 원칙을 실현한다. 이는 고품질 요약을 위한 계산·데이터 비용을 크게 낮추면서도 절차적 정확성을 유지하는 새로운 패러다임을 제시한다.