액션 청크 경계 아티팩트와 노이즈 민감성

초록

액션 청크 기반 시각‑운동 정책에서 청크 경계에서 발생하는 급격한 동작 불연속을 ‘경계 아티팩트’라 정의하고, 이를 노이즈에 민감한 실패 메커니즘으로 규명한다. 실험을 통해 (1) 경계 아티팩트가 실패 에피소드와 강하게 연관됨을, (2) 고정된 관찰 상황에서 잠재 노이즈만 변화시켜 아티팩트 크기를 조절할 수 있음을, (3) 노이즈 공간의 특정 방향을 찾아 스티어링함으로써 아티팩트를 감소·증가시키고 성공률을 변화시킬 수 있음을 입증한다.

상세 분석

본 논문은 액션 청크(action chunk) 방식을 채택한 생성형 시각‑운동 정책에서 발생하는 경계 불연속 현상을 정량화하고, 그 원인을 노이즈에 귀속시킨다. 정책 πθ는 관찰 xₜ와 표준 정규분포에서 샘플링된 잠재 노이즈 z를 입력받아 길이 H의 행동 청크 aₜ:t+H를 생성한다. 실행 단계에서는 청크의 앞 K(≤H) 행동만 수행하고, K 스텝마다 새로운 관찰을 받아 재계획한다. 이때 청크 경계(t mod K = 0,1)에서 이전 청크의 꼬리와 다음 청크의 머리 사이에 급격한 가속도 변화, 즉 ‘jerk’가 발생한다. 저자들은 이를 ‘경계‑내부 jerk 대비(J₍B₎–J₍I₎)’라는 지표로 정의하고, 경계 단계와 내부 단계(2,3,4)에서 평균 jerk를 각각 측정해 차이를 구한다.

첫 번째 실험에서는 LIBERO 벤치마크의 두 목표(task 0, task 3)에서 70회씩 롤아웃을 수행했다. 실패 에피소드가 성공 에피소드보다 경계‑내부 jerk 대비가 평균 +0.238(목표3)·+0.110(목표0) 크게 높았으며, 이는 20,000‑샘플 퍼뮤테이션 테스트에서 p<10⁻⁴로 통계적으로 유의했다. 또한 접촉이 없는 구간과 초기 50스텝만을 추출한 컨트롤에서도 차이가 유지돼, 경계 아티팩트가 실패의 원인일 가능성을 시사한다.

두 번째 실험에서는 관찰을 고정하고 노이즈 z만 변형해 384개의 청크를 생성했다. 경계‑내부 jerk 대비의 표준편차가 σ=0.040(95% CI