스크립트와 슬라이드 연결 자동화

본 논문은 교육·연구 발표용 슬라이드 영상을 자동으로 제작하기 위한 핵심 과제인 “스크립트‑투‑슬라이드 그라운딩(S2SG)”을 정의하고, 이를 구현하기 위한 초기 단계로 텍스트 전용 슬라이드에 한정한 LLM 기반 방법인 Text‑S2SG를 제안한다. 1. **연구 배경 및 필요성** 슬라이드 기반 강의 영상은 시각 효과(포인팅, 하이라이팅)와 내레이션이 동기화될 때 학습 효과가 극대화된다. 그러나 현재 이러한 시각 효과를 적용하는 작업은 수작업으로 진행되며, 편집자의 숙련도에 따라 품질이 크게 달라진다. 기존 자동화 연구는 슬라이드·스크립트 생성에 초점을 맞추었고, 시각 효과 적용까지 연결하는 연구는 부족했다. 2. **S2SG 문제 정의** S2SG는 한 슬라이드 내에 존재하는 객체 집합 V와 스크립트 문장 집합 S 사이의 매핑을 찾는 작업이다. 공식적으로는 함수 g: s_i → 2^V 로 정의되며, 각 문장 s_i에 대해 해당하는 객체들의 부분집합 V_i를 반환한다. 매핑은 이진 형태 혹은 확률적 행렬 M (n×m, 0~1) 로 표현될 수 있다. 3. **슬라이드 구조 분석** 슬라이드 파일(.pptx)은 XML 기반 DOM 트리로 구성되며, 텍스트, 도형, 이미지 등 다양한 객체가 노드 형태로 저장된다. 이 구조는 시각적 레이아웃과는 별개로 작성 순서에 따라 정렬되기 때문에, 단순 순차 매핑은 오류를 초래한다. 또한, 하나의 텍스트 객체가 여러 의미 단위를 포함하는 경우(예: 들여쓰기된 리스트) 객체‑문장 매핑의 granularity 문제가 발생한다. 4. **Text‑S2SG 알고리즘** - **객체 추출 및 계층화**: PPTX 파서를 이용해 텍스트 객체를 추출하고, 들여쓰기·위치 정보를 활용해 계층 구조를 만든다. 각 객체는 고유 shape ID 로 식별된다. - **LLM 프롬프트 설계**: “각 스크립트 문장이 설명하는 객체의 ID 리스트를 JSON 형태로 반환하라”는 명령과 함께, 객체 리스트와 스크립트 문장을 제공한다. - **LLM 응답 파싱**: GPT‑4와 같은 대형 언어 모델을 호출해 반환된 JSON을 파싱하고, 매핑 행렬 M 를 구축한다. - **후처리**: 임계값 τ (예: 0.5) 를 적용해 확률값을 이진화하고, 다중 매핑이 발생한 경우 가장 높은 확률을 선택한다. 5. **실험 설정 및 결과** 30개의 강의 슬라이드와 대응 스크립트를 수집해 5‑fold 교차 검증을 수행하였다. 평가 지표는 Precision, Recall, F1‑score이며, Text‑S2SG는 F1‑score 0.924, Precision 0.931, Recall 0.918을 기록했다. 베이스라인으로 사용한 키워드 매칭 방식은 F1‑score 0.672에 머물렀다. 오류 분석에서는 ‘이 그래프’, ‘위 그림’ 등 지시어 해석 실패와, 하나의 문장이 여러 객체를 동시에 가리키는 경우 매핑 누락이 주요 원인으로 나타났다. 6. **논의 및 향후 연구** - **프롬프트 최적화**: 지시어 해석을 돕기 위해 사전 정의된 지시어 사전(dictionary)와 함께 LLM에 제공하면 매핑 정확도가 향상될 가능성이 있다. - **시각 객체 확장**: 현재는 텍스트 객체에만 적용했지만, VLM (예: CLIP, BLIP)과 LLM을 연계해 그림·표·수식까지 포함하는 전반적인 S2SG 시스템을 구축할 수 있다. - **실시간 적용**: 매핑 결과를 기반으로 실시간으로 하이라이팅·포인팅 효과를 삽입하면, 강의 영상 제작 파이프라인을 완전 자동화할 수 있다. 결론적으로, 본 연구는 슬라이드 기반 영상 제작에서 가장 어려운 단계인 스크립트‑슬라이드 객체 매핑을 공식화하고, LLM을 활용한 텍스트‑S2SG 방법으로 높은 성능을 입증하였다. 이는 향후 시각 객체까지 포괄하는 통합 자동 편집 시스템 구축의 기반이 될 것이다.