현장 평가를 위한 자동 인지 과제 생성 시스템

초록

본 논문은 보이지 않는 3D 가정 환경에서 임베디드 에이전트를 평가하기 위해, 인간 인지 과정을 모방한 두 단계(상호작용‑진화) 과제 생성 프레임워크 TEA를 제안한다. 과제는 그래프 형태로 정의되며, 에이전트가 환경과 직접 상호작용하면서 새로운 과제를 만들고, 기존 과제 그래프를 재조합·재사용해 추가 과제를 생성한다. 10개의 미지 장면에서 87,876개의 물리적으로 타당한 과제가 자동 생성되었으며, 인간 검증을 통해 일상 인지 능력을 포괄함을 확인했다. 최신 모델들을 인간과 비교한 결과, 공개 벤치마크에서는 우수하지만 기본 인지·3D 상호작용·추론 과제에서는 크게 뒤처지는 것이 밝혀졌다.

상세 분석

TEA(Interaction‑Evolution Task Generation System)는 두 단계로 구성된 동적 과제 생성 파이프라인이다. 첫 번째 단계인 상호작용 단계에서는 에이전트가 초기 과제가 전혀 없는 상태에서 무작위 탐색(ε‑random walk)을 수행하고, 행동 결과로 얻은 RGB, 깊이, 3D 바운딩 박스, 객체 라벨 등 멀티모달 데이터를 실시간으로 수집한다. 수집된 데이터는 그래프 기반 과제 생성 함수 G에 입력되어, “이미지‑라벨 매핑”, “객체 위치 추정” 등 기본적인 인지 작업을 자동으로 정의한다. 이때 과제 집합 T는 매 루프마다 새로운 데이터 D′에 의해 갱신되며, 과제 폭발을 방지하기 위해 멀티모달 임베딩 간 코사인 유사도 행렬 S를 구축하고 스펙트럴 클러스터링을 적용해 K개의 대표 과제 T*만을 선택한다.

두 번째 단계인 진화 단계에서는 이미 생성된 과제 그래프를 구조적으로 분석한다. 그래프는 정점(V)·간선(E)·속성(A)으로 구성되며, 정점은 객체·장면·에이전트, 간선은 공간·소유 관계, 속성은 색상·라벨·깊이 등이다. TEA는 두 가지 연산을 정의한다. 첫째, 재사용(reuse) 연산은 서브그래프 t₁ ⪯ t₂ 관계를 이용해, 복잡 과제 t₂에 포함된 서브구조를 그대로 차용해 단순 과제 t₁을 생성한다. 예를 들어, 시각 관계 탐지 과제에서 식별된 테이블 객체를 그대로 활용해 객체 분류 과제를 만들 수 있다. 둘째, 재조합(recombination) 연산은 동일 의미 유형(예: 객체)이라도 속성이 다른 정점을 교환함으로써 새로운 과제 템플릿을 만든다. 라벨 기반 탐색 과제를 이미지 기반 탐색 과제로 변환하는 것이 전형적인 사례이다. 이러한 연산은 외부 데이터 없이도 과제 다양성을 기하급수적으로 확대한다.

TEA의 성능 평가는 두 가지 메트릭으로 수행된다. **Maximum Independent Ratio (MIR)**는 과제 집합 내 중복성을 정량화하는 지표로, 임계값 α(=0.8) 이하의 유사도만을 허용하는 최대 독립 집합의 비율을 계산한다. 높은 MIR은 과제 간 다양성이 높고 중복이 적음을 의미한다. 실험 결과, 첫 번째 루프(ε=1)에서 MIR이 0.31에 머물렀으나, 두 번째 루프(ε=0)와 진화 단계 적용 후 평균 MIR이 0.54, 최고 0.68까지 상승했다. 이는 진화 단계가 과제 다양성에 크게 기여함을 입증한다.

베이스라인으로 최신 Vision‑Language Model(VLM) 기반 에이전트와 인간 피험자를 동일한 10개 미지 장면의 과제에 대해 평가했다. VLM은 공개 벤치마크에서 높은 정확도를 보였지만, TEA가 생성한 물리·시각·언어 복합 과제에서는 인식 정확도가 30% 이하로 급락했고, 특히 3D 공간 인식·접촉 관계 판단에서 인간 대비 2배 이상의 오류율을 보였다. 이는 현재 모델들이 “데이터 오염”된 정형 벤치마크에 과적합돼 실제 현장 인지 능력을 충분히 학습하지 못했음을 시사한다.

결론적으로 TEA는 (1) 초기 과제가 전혀 없는 환경에서도 에이전트 자체 탐색을 통해 과제를 자동 생성하고, (2) 그래프 기반 재사용·재조합 메커니즘으로 외부 자원 없이 과제 다양성을 폭발적으로 확대하며, (3) 인간 검증을 통해 물리적 타당성과 일상 인지 범위를 충족함을 입증한다. 이러한 시스템은 실제 가정 환경에 배치되기 전, 에이전트의 현장 적합성을 평가하는 필수 도구로 활용될 수 있다.