InterAgent: 그래프 확산으로 구현하는 물리 기반 다중 에이전트 상호작용

초록

InterAgent는 텍스트 명령만으로 물리적으로 타당한 다중 인간형 에이전트의 상호작용을 생성하는 최초의 종단 간(end-to-end) 프레임워크입니다. 자동회귀 확산 변환기와 상호작용 그래프 표현을 도입하여 에이전트 간의 세밀한 공간적 의존성을 모델링하고, 희소 주의 메커니즘으로 핵심 상호작용 관계에 집중함으로써 기존 방법들을 능가하는 최첨단 성능을 달성했습니다.

상세 분석

InterAgent의 기술적 혁신은 크게 세 가지로 구분됩니다. 첫째, **Inter-DiT(Interaction Diffusion Transformer)**라는 자동회귀적 확산 프레임워크를 제안했습니다. 이는 두 에이전트의 상태-액션 시퀀스의 결합 분포를 텍스트 조건에 따라 모델링하여, 암묵적으로 세계 모델(동적 전이)을 학습함으로써 미래의 물리적으로 일관된 행동을 예측합니다. 단일 네트워크를 공유하는 대칭적 구조를 채택하여 두 에이전트의 협력적 상호작용을 효과적으로 포착합니다.

둘째, 다중 스트림(Multi-stream) DiT 블록 설계를 통해 프로프리오셉션(자기 수용감각), 엑스테로셉션(외부 감각), 액션을 별도의 스트림으로 분리 처리합니다. 기존 방식이 이들을 단일 표현으로 합쳐 발생하는 교차 모달 간섭을 완화합니다. 각 스트림은 독립적인 처리를 유지하면서, ‘스트림 간 융합 주의(Inter-stream fusion attention)’ 메커니즘을 통해 필요한 정보를 교환하여 시너지적인 조정이 가능해집니다. 또한 ‘맥락 인식 조건부 주의(Context-aware conditioning attention)‘를 통해 시간적 역사와 상대 에이전트 정보를 통합합니다.

셋째, 가장 중요한 기여는 상호작용 그래프(Interaction Graph) 기반의 엑스테로셉션 표현과 이에 적용된 희소 에지 기반 주의(Sparse Edge-based Attention) 메커니즘입니다. 기존의 상대적 상태(Relative State) 표현이 에이전트 전체 수준의 거친 정보만 제공하는 데 반해, 상호작용 그래프는 한 에이전트의 각 관절을 노드로, 다른 에이전트의 각 관절로 향하는 방향성 에지로 명시적으로 모델링합니다. 각 에지는 두 관절 간의 3D 공간 벡터로 정의되어, ‘악수 시 손목 간 거리’, ‘격투 시 주먹과 턱의 상대 위치’와 같은 세밀한 국부적 상호작용을 직접적으로 표현합니다. 이 그래프에 도입된 희소 주의 메커니즘은 모든 에지 연결을 계산하는 대신, 현재 상호작용 맥락에서 중요도가 낮은 에지(예: 발과 머리의 연결)의 영향을 동적으로 억제하고, 핵심 관계(예: 손과 손)에 계산 자원을 집중시킵니다. 이는 실제 인간 상호작용이 선택적이고 집중적이라는 특성을 반영하며, 모델의 강건성과 효율성을 동시에 향상시킵니다.

실험 결과, InterAgent는 단일 에이전트 베이스라인(PDP, UniPhys)이나 그래프를 사용하지 않은 다중 에이전트 변형보다 월등한 성능을 보였습니다. 이는 제안된 그래프 표현과 희소 주의가 복잡한 다중 에이전트 조정 학습에 필수적임을 입증합니다. 그러나 현재 프레임워크는 두 에이전트 상호작용으로 제한되어 있으며, 더 많은 에이전트나 동적 환경 객체를 포함한 확장, 그리고 장기적 상호작용 시퀀스 생성에서의 안정성 등은 향후 과제로 남아 있습니다.