인간 중심 열린 미래 작업 탐색

초록

본 논문은 인간의 의도가 다중·동시적으로 변하는 열린 미래 상황에서 로봇이 인간을 돕는 작업을 자동으로 발견하도록 하는 문제(HOTD)를 정의하고, 2천여 개의 실제 영상으로 구성된 HOTD‑Bench를 제시한다. 또한 다중 에이전트와 탐색 트리를 결합한 CMAST 프레임워크를 설계해 기존 대형 멀티모달 모델(LMM) 대비 뛰어난 성능을 보이며, 시뮬레이션 기반 평가 방식을 통해 작업의 유용성을 정량화한다.

상세 분석

이 논문은 기존 로봇·임베디드 AI 연구가 “현재 관찰에 기반한 다음 행동”을 예측하는 데 머물러 있는 한계를 지적한다. 인간은 일상에서 여러 하위 작업을 동시에 진행하고, 목표가 명시적으로 드러나지 않으며, 미래 행동이 급변한다. 이러한 특성을 “열린 미래(open‑future)”라 명명하고, 로봇이 인간에게 지속적으로 도움이 되는 작업을 사전에 제안해야 하는 새로운 과제인 Human‑centric Open‑future Task Discovery(HOTD)를 공식화한다. 핵심은 “인간 중심 작업”을 정의하는데, 이는 로봇이 실행 가능한 행동이며 인간의 최종 목표(z)를 달성하는 비용(L)을 감소시키는 경우에만 유효하다. 비용은 시간·노동 등으로 정량화되며, 작업 y가 삽입된 후 인간 행동 시퀀스 A′z와 원래 시퀀스 Az를 비교해 L(A′z,z)<L(Az,z)이면 y는 유용한 작업으로 간주한다.

평가를 위해 두 기존 비디오 데이터셋(Toyota Smarthome Untrimmed, Charades)에서 2,450개의 클립을 추출해 HOTD‑Bench를 구축하였다. 라벨링 비용을 최소화하기 위해 “시뮬레이션 기반 평가”를 도입했는데, LLM을 활용해 가상의 미래 시나리오를 생성하고 비용 변화를 추정한다. 이는 인간 주관을 배제하고, 관찰되지 않은 미래 분기까지 평가할 수 있게 한다. 또한 라벨 기반 평가 파이프라인을 병행해, 인간이 직접 선정한 “도움이 되는 원칙”에 따라 작업을 필터링하고 최종 GT 셋을 만든다.

제안된 모델인 Collaborative Multi‑Agent Search Tree(CMAST)는 두 가지 혁신을 갖는다. 첫째, 탐색 트리 모듈을 통해 작업 후보를 단계별로 확장·검증하며, 트리 깊이가 늘어날수록 다양한 미래 경로를 포괄한다. 둘째, 다중 에이전트 시스템을 도입해(1) 목표 추론 에이전트, (2) 시뮬레이션 에이전트, (3) 비용 평가 에이전트 등 역할을 분리함으로써 복잡한 추론을 분산 처리한다. 각 에이전트는 LLM 기반 체인‑오브‑씽크를 활용해 중간 결과를 생성하고, 트리 노드에 저장해 재사용한다. 이러한 구조는 OpenAI‑o3, DeepSeek‑R1 등 최신 “스케일러블 사고” 모델과 유사한 테스트‑타임 사고를 가능하게 하면서도, 기존 LMM에 플러그인 형태로 쉽게 통합될 수 있다.

실험 결과, CMAST는 Valid Task Ratio(유효 작업 비율)와 Valid Task Count(유효 작업 수) 모두에서 기존 LMM(예: GPT‑4‑V, LLaVA‑1.5)보다 현저히 높은 점수를 기록했다. 특히 시뮬레이션 기반 평가에서 23%~31% 정도의 절대 향상을 보였으며, 라벨 기반 평가에서도 일관된 개선을 확인했다. Ablation study는 탐색 트리와 다중 에이전트 각각이 성능에 기여함을 입증했으며, 다양한 LMM에 CMAST를 적용했을 때도 성능이 상승함을 보여준다. 시각화 결과는 CMAST가 “테이블 닦기”와 같이 인간의 미래 행동과 무관하게 도움이 되는 작업을 효과적으로 제안함을 확인한다.

한계점으로는 시뮬레이션에 사용된 LLM의 정확도에 크게 의존한다는 점, 비용 함수가 시간 중심으로 단순화돼 실제 물리적·정서적 비용을 완전히 반영하지 못한다는 점, 그리고 현재 비디오 클립이 실내 가정 환경에 국한돼 있어 외부·산업 환경으로의 일반화가 미흡하다는 점을 언급한다. 향후 연구에서는 멀티모달 센서(음성·촉각)와 결합한 비용 모델 확장, 시뮬레이션 품질 향상을 위한 RL‑based 피드백 루프, 그리고 도메인‑다양한 데이터셋 구축이 필요하다.