에이전트 기반 라벨 큐레이션 AURA: 신뢰도 모델링과 자동 집계

초록

AURA는 다중 모달 데이터에 대해 오프‑더‑쉘프 AI 에이전트를 활용해 라벨을 자동 생성·검증하는 프레임워크이다. 고전적인 Dawid‑Skene 확률 모델을 EM 방식으로 확장한 AEML 알고리즘으로 각 에이전트의 혼동 행렬을 추정하고, 이를 기반으로 라벨을 집계한다. 실험 결과, 네 개 벤치마크(영상·이미지)에서 기존 방법 대비 정확도가 최대 5.8% 향상되었으며, 품질이 낮은 에이전트 환경에서는 최대 50%까지 개선되었다. 또한, 별도 검증 없이도 에이전트 신뢰도를 정확히 추정한다.

상세 분석

AURA는 라벨링 비용과 인간 주석자의 변동성을 극복하고자, “에이전트”라는 개념을 도입해 여러 대형 언어·비전 모델을 독립적인 주석자로 활용한다. 핵심은 전통적인 Dawid‑Skene 모델을 현대적인 멀티모달 환경에 맞게 재구성한 AEML(Agentic EM for Labeling)이다. AEML은 두 단계로 이루어진 EM 절차를 반복한다. E‑step에서는 현재 추정된 각 에이전트의 혼동 행렬(Confusion Matrix)을 가중치로 사용해, 관측된 라벨 집합으로부터 각 샘플의 잠재 진실 라벨에 대한 사후 확률을 계산한다. 이때 클래스 사전(p_y)도 동적으로 업데이트되어 데이터 분포 변화를 반영한다. M‑step에서는 사후 확률을 이용해 에이전트별 혼동 행렬을 최대우도 추정한다. 이 과정은 라벨 정확도와 에이전트 신뢰도 사이의 순환 의존성을 해소하고, 서로 다른 에이전트가 가진 클래스별 편향과 오류 패턴을 정량화한다.

알고리즘의 초기화는 모든 클래스에 균등 사전과, λ% 정도의 정확도를 가정한 대각선 혼동 행렬을 사용한다. λ는 하이퍼파라미터이며, 실험에서는 0.7~0.9 범위가 적절함을 보였다. 수렴 기준은 로그우도 차이가 γ보다 작을 때이며, 이때 얻어지는 라벨과 신뢰도 추정치는 지역 최적점에 수렴한다.

시간 복잡도 측면에서 AEML은 E‑step이 O(n·M·|Y|), M‑step가 O(n·M·|Y|²)이며, 전체 반복 횟수 e에 따라 O(e·n·M·|Y|²)이다. 실험에서는 n이 수천, M이 712, |Y|가 10400 수준에서도 수분 내에 수렴했으며, GPU 가속 없이도 CPU만으로 충분히 실행 가능했다.

데이터셋은 Kinetics‑400 비디오(1,000샘플, 60클래스), ImageNet‑ReaL 이미지(4,271샘플, 50클래스), Food‑101(1,000샘플, 101클래스), CUB‑200(1,018샘플, 17클래스)로 구성되었다. 각 데이터에 대해 7~12개의 최신 멀티모달 모델(Gemini‑2.5‑flash, Qwen‑2.5‑VL, Pegasus‑1.2, GPT‑4o‑mini 등)을 독립 주석자로 사용했으며, 사전 학습이나 파인튜닝 없이 바로 API 호출로 라벨을 얻었다.

실험 결과, AURA는 단일 에이전트보다 평균 3.2%~5.8% 높은 정확도를 기록했으며, 특히 에이전트 품질이 고르게 낮은 경우(예: 일부 모델의 비디오 프레임 추출 오류)에는 30%~50%까지 성능 격차가 확대되었다. 또한, 추정된 혼동 행렬의 대각선 값은 실제 에이전트 정확도와 높은 상관관계(r≈0.87)를 보였으며, 클래스별 편향(예: 특정 음식 카테고리에서 과대/과소 평가)도 정량적으로 파악할 수 있었다.

AURA의 장점은 (1) 별도 라벨링 비용 없이 오프‑더‑쉘프 모델을 바로 활용, (2) 에이전트 간 신뢰도 차이를 모델링해 집계 정확도 향상, (3) 추정된 신뢰도를 통해 향후 에이전트 선택·조합 전략을 설계 가능하다는 점이다. 한계로는 (가) EM이 지역 최적에 머물 수 있어 초기화에 민감하고, (나) 에이전트 수가 급증하면 계산량이 선형적으로 증가한다는 점이다. 향후 연구에서는 변분 베이즈(VB) 접근이나 딥러닝 기반 메타‑에이전트를 도입해 확장성을 높이고, 라벨 불확실성을 직접 활용한 활성 학습 루프와의 통합을 모색할 수 있다.