조립 매뉴얼과 영상 정렬 데이터셋 M2AD: 멀티모달 LLM 평가를 위한 새로운 기준

초록

본 논문은 가구 조립 과정을 담은 영상과 해당 매뉴얼을 단계별로 정렬한 Manual‑to‑Action Dataset(M2AD)을 소개한다. 공개된 멀티모달 대형 언어 모델(MLM)들을 활용해 (1) 단계 추적, (2) 영상‑매뉴얼 매핑, (3) 현재 진행 단계 식별 능력을 평가한다. 실험 결과, 현존 모델은 절차적 순서를 어느 정도 파악하지만, 다중 이미지·텍스트‑이미지 연산과 실시간 추론에서 하드웨어·아키텍처 제약으로 성능이 제한됨을 확인한다.

상세 분석

M2AD는 53개의 IKEA 가구 제품에 대해 1 228개의 단계 라벨을 제공하며, 각 라벨은 영상의 시작·종료 프레임, 매뉴얼 페이지 번호, 단계 번호를 포함한다. 평균 23.2개의 단계가 존재하고, 단계당 평균 지속시간은 21.1초(표준편차 20.5초)로, 실제 사용자가 겪는 시간 변동성을 잘 반영한다. 특히 비연속적 단계 전이(스킵·재방문) 분석을 통해 초기 단계에서의 유연성이 높고, 사용자의 숙련도와 인지 부하가 단계 선택에 미치는 영향을 시각화하였다.

논문은 공개된 오픈소스 MLM(LLaVA‑3.2 Vision, Fuse, LLaVA, MolMo 등)을 소비자 수준 GPU에서 실행 가능한 형태로 제한하고, 세 가지 핵심 태스크를 설계했다. 첫째, **진행 상황 추적(Task 1)**에서는 모델이 현재까지 완료된 단계 수를 예측하도록 요구했으며, 정확도는 58 % 수준에 머물렀다. 둘째, **영상‑매뉴얼 매핑(Task 2)**에서는 특정 영상 클립이 매뉴얼의 어느 페이지와 대응되는지 판단하게 했고, 최고 모델조차 Top‑1 정확도가 62 %에 불과했다. 셋째, **현재 단계 식별(Task 3)**에서는 실시간으로 진행 중인 단계 번호를 출력하도록 했으며, 시간적 컨텍스트를 유지하는 능력이 부족해 오류율이 35 % 이상이었다.

성능 저하 원인으로는(1) 멀티이미지 입력 처리가 제한적이며, 대부분의 모델이 단일 프레임 혹은 짧은 이미지 시퀀스만을 받아들인다. (2) 텍스트‑이미지 교차 어텐션 구현 방식이 얕아, 단계 간 인과관계와 장기 의존성을 포착하지 못한다. (3) 하드웨어 메모리 한계로 인해 고해상도 영상 전체를 한 번에 처리하지 못하고, 프레임 샘플링이 필연적으로 발생한다. 이러한 제약은 특히 “스킵”이나 “재방문” 같은 비선형 흐름을 모델링할 때 치명적이다.

또한, 데이터셋 자체가 실제 유튜브 영상을 기반으로 하여 조명, 배경 잡음, 카메라 각도 등이 다양하게 존재한다는 점에서, 기존 실험실 환경 기반 벤치마크보다 현실적인 도전을 제공한다. 하지만 현재 라벨링이 단계 단위로만 제공돼, 세부 행동(예: 나사 조이기, 판넬 끼우기) 수준의 미세 라벨은 부족하다. 이는 향후 “행동 인식 → 단계 매핑” 파이프라인을 구축하는 데 한계로 작용한다.

논문은 마지막으로 멀티모달 연산 효율화와 장기 시퀀스 학습을 위한 새로운 아키텍처(예: 비디오 트랜스포머 + 라지 언어 모델, LoRA 기반 파라미터 효율적 튜닝) 도입을 제안한다. 또한, AR/VR 환경에서 실시간 보조를 목표로 할 경우, 모델이 프레임‑레벨 스트리밍 입력을 지속적으로 처리하면서도 매뉴얼 페이지를 동적으로 참조할 수 있는 메커니즘이 필요함을 강조한다.

요약하면, M2AD는 멀티모달 LLM의 절차적 이해와 실시간 보조 능력을 평가할 수 있는 가장 포괄적인 공개 데이터셋이며, 현재 모델들의 한계는 아키텍처 설계와 하드웨어 자원에 크게 의존한다는 점을 명확히 보여준다. 향후 연구는 다중 이미지·텍스트 연산을 효율화하고, 장기 의존성을 학습할 수 있는 모델 구조를 개발함으로써, 실제 AR/VR 기반 기술 지원 시스템에 적용 가능한 수준으로 끌어올리는 것이 과제이다.