하이브리드 아키텍처 기반 몸짓 언어 탐지 보고서
📝 원문 정보
- Title: An Architecture-Led Hybrid Report on Body Language Detection Project
- ArXiv ID: 2512.23028
- 발행일: 2025-12-28
- 저자: Thomson Tong, Diba Darooneh
📝 초록 (Abstract)
본 보고서는 최신 비전‑언어 모델인 Qwen2.5‑VL‑7B‑Instruct와 Llama‑4‑Scout‑17B‑16E‑Instruct의 아키텍처적 특성을 분석하고, 이를 BodyLanguageDetection 저장소에 구현된 영상‑대‑아티팩트 파이프라인에 매핑한다. 시스템은 영상에서 프레임을 샘플링하고, VLM에 사람을 탐지하도록 프롬프트를 전달해 픽셀‑레벨 바운딩 박스와 감정 등 속성을 생성한다. 생성된 출력은 사전 정의된 스키마로 구조를 검증하며, 필요시 주석이 입힌 영상을 재생한다. 공유된 멀티모달 기반(시각 토크나이징, 트랜스포머 어텐션, 지시 수행)을 요약하고, 각 모델의 아키텍처를 엔지니어링 선택을 정당화할 수준으로 기술한다. 마지막으로, 구조적 검증은 구문적 정합성만 보장하고 의미적·기하학적 정확성은 보장하지 않으며, 현재 프롬프트 계약에서는 사람 식별자가 프레임 로컬임을, 단일 프레임 분석은 자유 텍스트를 반환한다는 점을 강조한다. 이러한 차이는 방어 가능한 주장 작성, 견고한 인터페이스 설계, 평가 계획 수립에 핵심적이다.💡 논문 핵심 해설 (Deep Analysis)
본 보고서는 두 개의 최신 비전‑언어 모델(VLM)인 Qwen2.5‑VL‑7B‑Instruct와 Llama‑4‑Scout‑17B‑16E‑Instruct를 아키텍처 관점에서 비교·분석하고, 이를 실제 영상‑대‑아티팩트 파이프라인에 적용한 사례를 상세히 설명한다. 먼저 두 모델이 공유하는 멀티모달 토대는 크게 세 가지 요소로 구성된다. 첫째, 이미지 입력을 고정 길이 시퀀스로 변환하는 시각 토크나이저(예: ViT‑style patch embedding 또는 고해상도 CNN 기반 토큰화)이다. 토크나이저는 이미지의 공간 정보를 보존하면서 Transformer 인코더에 적합한 형태로 압축한다. 둘째, Transformer 기반의 멀티헤드 어텐션 메커니즘은 시각 토큰과 텍스트 토큰을 교차 결합하여 이미지‑텍스트 간 상호작용을 학습한다. 이때 Qwen2.5‑VL은 사전 학습 단계에서 대규모 이미지‑텍스트 쌍을 사용해 멀티모달 어텐션을 강화했으며, Llama‑4‑Scout는 고해상도 토큰을 다루기 위해 효율적인 슬라이딩 윈도우 어텐션을 도입해 메모리 사용량을 최적화했다. 셋째, instruction‑following 능력은 대규모 언어 모델 사전 학습과 인간 피드백을 통한 정교화 과정을 통해 확보된다. 두 모델 모두 “프롬프트 → 구조화된 JSON” 형태의 출력이 가능하도록 미세조정되었지만, 내부 파싱 로직은 공개되지 않아 실제 구현에서는 외부 스키마 검증에 의존한다.BodyLanguageDetection 파이프라인은 다음과 같은 단계로 구성된다. (1) 입력 영상에서 일정 간격으로 프레임을 추출한다. (2) 추출된 프레임을 VLM에 전달하면서 “사람을 찾고, 각 사람에 대해 감정 라벨과 바운딩 박스를 반환하라”는 명령형 프롬프트를 제공한다. (3) 모델은 픽셀 좌표와 감정 라벨을 포함한 JSON‑like 문자열을 반환한다. (4) 반환된 문자열을 사전 정의된 JSON 스키마와 매칭시켜 구조적 유효성을 검사한다. 스키마는 필수 필드(예: person_id, bbox, emotion)와 데이터 타입을 명시하지만, 좌표가 실제 사람을 정확히 둘러싸는지, 감정 라벨이 시각적 단서와 일치하는지는 검증하지 않는다. (5) 검증이 통과된 경우, 선택적으로 OpenCV 등을 이용해 바운딩 박스와 라벨을 영상에 오버레이하고, 결과 영상을 저장하거나 스트리밍한다.
이 설계에서 드러나는 핵심 제한점은 두 가지이다. 첫째, 구조적 검증은 구문적 정합성만을 보장한다는 점이다. 즉, JSON 형식이 올바르더라도 좌표가 비현실적인 값(예: 영상 밖 좌표)일 수 있으며, 감정 라벨이 실제 표정과 불일치할 가능성이 있다. 이러한 오류는 모델의 “프리‑폼 텍스트 → 구조화된 출력” 변환 과정에서 발생하는 ‘hallucination’ 현상과 직접 연관된다. 둘째, 현재 프롬프트 계약에서는 사람 식별자가 프레임 로컬이다. 즉, 동일 인물이 여러 프레임에 걸쳐 나타나더라도 각 프레임에서 새롭게 person_id가 할당된다. 이는 장시간 영상에서 트래킹이나 행동 흐름 분석을 수행하려는 경우 추가적인 ID 매핑 로직이 필요함을 의미한다. 또한, 인터랙티브 모드에서 단일 프레임을 입력하면 모델은 자유 텍스트 응답을 반환하도록 설계돼 있어, JSON 스키마 강제 적용이 어려워진다.
따라서 연구자는 다음과 같은 방어적 전략을 채택해야 한다. (1) 실험 보고서에 구조적 검증 성공률과 별도로 기하학적·시맨틱 정확도(예: IoU, 감정 라벨 정확도)를 별도 측정한다. (2) 프레임 간 ID 일관성을 확보하려면 외부 트래킹 알고리즘(예: DeepSORT)과 VLM 출력을 결합한다. (3) 인터랙티브 모드에서는 프롬프트에 “JSON 형식으로 반환하라”라는 명시적 지시를 추가하고, 반환 문자열을 파싱 후 스키마 검증 파이프라인에 재투입한다. 이러한 설계·평가 원칙을 따름으로써, 모델 아키텍처와 시스템 제약 사이의 간극을 메우고, 실용적인 몸짓 언어 탐지 솔루션을 보다 신뢰성 있게 구축할 수 있다.