고불확실성 영상 라벨링을 위한 하이브리드 인간 AI 작업 흐름 평가

초록

본 논문은 고불확실성(높은 모호성) 동영상에 대해 사전 라벨링을 제공하는 경량 CLIP 기반 인코더와 계층적 군집화를 결합한 하이브리드 Human‑in‑the‑Loop 워크플로우를 설계하고, 18명의 자원봉사자를 대상으로 한 통제된 A/B 실험을 통해 AI 지원이 라벨링 속도를 평균 35% 단축시키면서도 라벨 일관성 및 의미적 정확도에 미치는 영향을 정량적으로 평가한다. 또한 라벨링 효율성, 합의도, 잠재적 의미 드리프트를 동시에 측정하는 벤치마크 프레임워크를 공개한다.

상세 분석

이 연구는 두 가지 핵심 기술적 기여를 제시한다. 첫째, 영상‑텍스트 쌍을 이용해 CLIP‑스타일 인코더를 대비‑학습(constrastive learning)하고, 평균 풀링을 통해 프레임 수준 특징을 영상 수준 임베딩으로 압축한다. 이후 구형 k‑means(구면 k‑means)를 이용해 임베딩 공간을 최대 3단계 깊이의 트리 구조로 계층화함으로써 “강한 클러스터(strong clusters)”를 생성한다. 이러한 클러스터는 시간적 연속성을 유지하면서도 의미적 응집도를 0.85 이상의 코사인 유사도로 보장한다는 점에서 기존의 단순 프레임‑간 보간 방식보다 더 견고한 사전 라벨을 제공한다.

둘째, 라벨링 인터페이스를 Label Studio에 맞춤형으로 통합해, 사전 라벨이 타임라인에 읽기 전용 형태로 삽입되고 사용자는 복제·편집을 통해 검증·수정만 수행하도록 설계하였다. 이는 인간 작업자의 인지 부하를 크게 낮추고, “생성 → 검증”이 아닌 “검증 → 수정”이라는 작업 흐름 전환을 가능하게 한다.

실험 설계는 A/B 교차 설계와 6‑표본 중첩(6‑vote overlap) 방식을 채택해, 각 비디오에 대해 3명씩 지원·비지원 조건에서 라벨링하도록 함으로써 합의 기반의 ‘컨센서스 그라운드 트루스’를 구축하였다. 결과는 다음과 같다. (1) 전체 참가자 중 72%가 지원 조건에서 평균 35%의 시간 절감을 경험했으며, 나머지 28%는 오히려 시간 증가를 보였다. 이는 사전 라벨의 품질과 사용자의 사전 지식 수준에 따라 효율성이 달라질 수 있음을 시사한다. (2) 인터레이터 합의도(Kappa)는 지원 조건에서 약간 상승했지만, 의미적 드리프트를 탐지하기 위해 임베딩 기반 거리 측정(Latent‑Space Validity)을 추가로 분석한 결과, 일부 참가자는 모델이 제안한 클러스터 경계에 과도하게 의존해 라벨의 의미적 다양성이 감소하는 경향을 보였다. 즉, 효율성 향상이 반드시 라벨 품질 향상과 동등하지 않으며, AI 제안이 인간의 판단을 편향시킬 위험이 존재한다.

연구는 또한 재현성을 강조한다. 코드와 인터랙션 로그를 공개하고, CrowdWorkSheets 양식을 통해 참여자 모집·보상·윤리적 절차를 상세히 기록하였다. 이는 향후 다른 도메인(예: 의료 영상, 교통 감시)에서 동일한 벤치마크 프레임워크를 적용할 수 있는 기반을 마련한다. 한계점으로는(1) 영상 데이터셋이 제한적이며, 고불확실성 상황을 인위적으로 정의한 점, (2) 사전 라벨링 모델이 CLIP 기반으로 경량화됐지만 여전히 GPU 메모리와 추론 시간이 필요해 대규모 실시간 라벨링 파이프라인에 바로 적용하기엔 제약이 있다. 향후 연구에서는(가) 멀티모달 프롬프트 엔지니어링을 통해 라벨링 의도를 더 정교히 전달하고, (나) 라벨링 과정 중 실시간 피드백 루프를 도입해 인간의 수정이 모델 업데이트에 즉시 반영되도록 하는 적응형 HITL 시스템을 탐색할 필요가 있다.