정보 이론으로 무장한 그래프 융합, 로봇의 지각과 행동을 하나로 통합하다

초록

인간의 시연 영상만으로 로봇이 복잡한 조립 작업을 수행할 수 있도록 하는 새로운 프레임워크(GF-VLA)를 제안한다. 정보 이론(엔트로피)을 활용해 작업과 가장 관련 높은 손과 물체를 식별하고, 이들의 상호작용을 시간 순서의 ‘장면 그래프’로 표현한다. 이 그래프와 언어 명령어가 결합된 비전-언어-행동(VLA) 모델은 해석 가능한 행동 트리와 구체적인 운동 명령을 생성하며, 특히 양팔 로봇의 효율적인 협업을 위한 ‘교차 손 선택 정책’을 도입했다. 블록 쌓기, 글자 만들기 등 다양한 이중 팔 작업에서 높은 성공률과 강한 일반화 능력을 입증했다.

상세 분석

본 논문이 제안하는 GF-VLA 프레임워크의 기술적 핵심은 ‘구조화된 물리적 이해’와 ‘고수준 의미론적 추론’의 융합에 있다. 기존 VLA 모델이 대규모 멀티모달 데이터 사전 학습에 의존하며 미세한 물리적 상호작용과 시간적 논리를 명시적으로 모델링하는 데 한계가 있었다면, GF-VLA는 정보 이론에 기반한 객관적인 지표로 이 문제를 해결한다.

핵심 메커니즘은 다음과 같다. 첫째, 정보-이론적 큐 추출 단계에서, 시간 창(φ) 내에서 손과 객체의 궤적 데이터에 대해 엔트로피와 상호 정보량을 계산한다. 엔트로피가 높은, 즉 변화가剧烈的인 요소(예: 움직이는 손)를 ‘작업 관련성 높은 활성 요소’로 판별한다. 이는 휴리스틱이나 수동 레이블에 의존하지 않고 데이터 자체의 통계적 특성에서 핵심 동작을 발견하는 원리적 접근법이다.

둘째, 시간적 장면 그래프 구축이다. 각 키 프레임에서 SAM2와 같은 모델로 분할된 객체와 손을 노드로, 이들 사이의 공간적 거리와 정보 흐름(상호 정보량)을 엣지 속성으로 하는 그래프를 생성한다. 이 그래프는 단순한 정적 스냅샷이 아니라 ‘손->객체 A’, ‘객체 A->객체 B’와 같은 동적 상호작용의 인과적 순서를 포착하는 ‘템포럴 오더드’ 구조다. 이는 작업을 하위 단계로 세분화(93% 정확도)하는 데 기여한다.

셋째, 구조적 지식과 VLA의 융합이다. 생성된 그래프 시퀀스는 언어 명령어와 함께 트랜스포머 기반 VLA 모델에 입력된다. 여기서 중요한 점은 LLM이 원시 비전 데이터가 아닌, 이미 추상화되고 구조화된 그래프 표현을 처리한다는 것이다. 이는 LLM의 추론 부하를 줄이고, 해석 가능한 계층적 행동 트리 생성과 직교 공간(Cartesian) 운동 명령어 출력을 가능하게 한다.

특히 교차 손 선택 정책은 양팔 조작의 실용성을 높인 독창적 기여다. 어떤 물체를 어느 손(그리퍼)이 잡아야 작업 효율이 최적인지를 기하학적 계산 없이, 그래프 표현과 작업 문맥으로부터 추론한다. 이는 모듈식 접근법을 넘어서는 통합적 의사결정의 사례다.

종합하면, 이 연구는 로봇 지능에서 ‘지각-표현-추론-행동’의 연속선상에 있는 ‘표현(Representation)‘의 중요성을 재조명했다. 정보 이론과 그래프 신경망(GNN)을 활용한 중간 표현이, 데이터 효율성, 일반화 능력, 해석 가능성이라는 세 마리 토끼를 잡을 수 있는 강력한 도구임을 실험적으로 입증했다는 점에서 의미가 깊다.