대칭을 손쉽게 적용하는 확산 정책 가이드

초록

본 논문은 복잡한 등변(Equivariant) 네트워크 설계 없이도 로봇 조작을 위한 확산 정책에 대칭성을 효과적으로 도입하는 실용적인 방법을 제시한다. 눈‑인‑핸드 이미지와 상대·델타 궤적 행동을 결합해 SE(3) 불변성을 이론적으로 증명하고, 등변 비전 인코더와 프레임 평균화 기법을 활용해 사전 학습된 인코더를 대칭적으로 활용한다. 실험 결과, 제안 방법은 완전 등변 모델과 동등하거나 더 높은 성능을 보이며 구현 복잡도는 크게 낮춘다.

상세 분석

논문은 크게 세 가지 축으로 대칭성을 확산 정책에 통합하는 방안을 탐구한다. 첫 번째는 관측과 행동의 표현을 불변 형태로 바꾸는 것이다. 눈‑인‑핸드 카메라가 로봇 그리퍼에 부착되면 세계 좌표계가 SE(3) 변환을 받더라도 이미지 자체는 변하지 않는다. 여기에 현재 그리퍼 자세를 기준으로 한 상대 궤적(relative trajectory) 혹은 이전 단계에 대한 변위(delta trajectory)를 행동으로 사용하면, 행동 시퀀스 역시 세계 변환에 대해 불변(invariant)한다. 저자는 이를 정리한 정의와 정리를 통해 절대 행동은 등변(equivariant)하지만 상대·델타 행동은 완전 불변임을 증명한다. 이 불변성은 정책 함수 π가 세계 변환 g에 대해 π(g·o)=g·π(o) 형태의 SE(3) 등변성을 자동으로 만족하게 만든다. 즉, 별도의 데이터 증강 없이도 다양한 물체 위치·자세에 일반화할 수 있다.

두 번째 축은 등변 비전 인코더를 도입하는 것이다. 순수히 불변 표현만으로는 완전 등변 모델에 비해 성능이 떨어지는 것이 실험에서 확인되었다. 이는 등변 네트워크가 전역 변환뿐 아니라 로컬 기하학적 패턴까지 포착해 풍부한 특징을 제공하기 때문이다. 따라서 저자는 기존 확산 정책의 디노이징 헤드 구조는 그대로 두고, 입력 이미지에만 등변 인코더(E(·))를 삽입한다. 이 인코더는 회전·반사 등 C_u 군에 대해 순환 퍼뮤테이션을 적용해 특징을 정렬하고, 이후 비등변 디노이징 네트워크가 처리하도록 설계된다. 이렇게 하면 구현 복잡도는 최소화하면서도 등변 특성의 이점을 활용할 수 있다.

세 번째 축은 사전 학습된 비전 인코더를 등변 방식으로 재활용하는 프레임 평균화(Frame Averaging) 기법이다. 여러 개의 변환된 입력 프레임을 각각 인코더에 통과시킨 뒤, 그 출력을 평균하거나 투표해 하나의 대칭‑안정적인 특징 벡터를 만든다. 이 방법은 대규모 이미지 데이터에 대해 사전 학습된 ResNet·ViT 등 강력한 백본을 그대로 사용하면서도, 변환군에 대한 불변성을 부여한다.

실험에서는 3가지 조합(불변 표현+등변 인코더, 불변 표현+프레임 평균화, 그리고 완전 등변 모델)을 비교하였다. 결과는 불변 표현에 등변 인코더를 결합한 방법이 가장 높은 성공률과 샘플 효율성을 보였으며, 프레임 평균화 역시 완전 등변 모델에 근접한 성능을 달성했다. 특히 눈‑인‑핸드 단일 카메라만 사용했음에도 불구하고, 기존 연구가 네 개의 외부 카메라와 3D voxel 입력을 사용한 것과 동등하거나 우수한 결과를 얻었다.

이러한 분석을 통해 논문은 “대칭을 위한 복잡한 구조 설계 대신, 입력·출력 레벨에서 불변성을 확보하고, 비전 인코더만 등변/프레임 평균화로 보강한다면 충분히 강력한 정책을 구현할 수 있다”는 실용적 원칙을 제시한다. 이는 로봇 연구자들이 대칭성을 활용하고자 할 때 높은 진입 장벽을 낮추는 동시에, 기존 확산 정책 프레임워크와 원활히 통합할 수 있는 길을 열어준다.