오프라인 멀티태스크 궤적에서 해석 가능한 스킬 자동 발견

초록

LOKI는 약한 태스크 라벨을 활용해 벡터 양자화 VAE(EVQ‑VAE)로 거시적 매크로 구분을 수행하고, 자기지도 마이크로 구분과 클러스터링을 통해 정밀한 스킬 경계를 만든다. 이후 옵션 기반 계층 정책을 학습해 종료 함수 β를 포함시켜 스킬 전환을 제어한다. D4RL Kitchen 벤치마크에서 높은 성공률을 기록하며, 발견된 스킬은 인간 직관과 일치하고 새로운 과제에서도 조합 가능함을 보인다.

상세 분석

LOKI는 오프라인 멀티태스크 데이터에서 재사용 가능한 스킬을 자동으로 추출하기 위해 3단계 파이프라인을 제안한다. 첫 번째 단계는 EVQ‑VAE라는 변형된 VQ‑VAE를 사용해 거시적 매크로 구분을 수행한다. 여기서 약한 태스크 라벨 c를 입력에 결합함으로써 코드북 벡터가 태스크별로 조건부 정렬되도록 강제한다. 이 과정에서 엔트로피 기반 변곡점 탐지를 적용해 ‘외재적(Extrinsic) 스킬’과 ‘내재적(Intrinsic) 스킬’ 사이의 전이를 식별한다. 두 번째 단계는 매크로 구간을 더 세밀한 마이크로 구간으로 분해한다. 고정 길이 슬라이딩 윈도우를 이용해 시퀀스 VAE를 학습하고, 재구성 손실과 초기 상태·태스크 라벨에 조건부된 KL 발산을 동시에 최소화한다. 이렇게 얻어진 잠재 변수 z는 현재 상태만으로도 해당 스킬을 예측할 수 있게 하여, 실행 시 미래 정보를 요구하지 않는다. 경계 검출은 잠재 변수의 시간적 안정성(variance 감소)과 클러스터링(Iterative Refinement)으로 강화된다. 마지막 단계에서는 발견된 스킬을 옵션(option) 형태로 정의하고, 고수준 정책이 스킬 선택을, 저수준 정책이 행동을 생성하도록 설계한다. 특히 종료 함수 β를 학습해 스킬이 언제 종료되는지를 명시적으로 모델링함으로써, 스킬 전환 시 발생할 수 있는 불연속성을 최소화한다. 실험에서는 D4RL Kitchen의 복합 조리 작업을 대상으로 성공률, 샘플 효율성, 스킬 해석성을 평가했으며, 기존 HIL 베이스라인보다 현저히 높은 성능을 보였다. 또한, 발견된 스킬이 ‘냉장고 열기’, ‘재료 집기’ 등 인간이 직관적으로 인식하는 동작과 일치함을 정성적으로 확인하고, 새로운 레시피에 대해 스킬을 재조합해 성공적으로 해결함으로써 구성 가능성을 입증했다. 전체적으로 LOKI는 약한 감독을 활용해 스킬 경계를 명확히 하고, 해석 가능성과 재사용성을 동시에 달성한 점이 큰 강점이며, 코드북 붕괴 방지를 위한 발산 손실과 엔트로피 기반 변곡점 탐지 등 여러 혁신적 요소가 결합된 점이 주목할 만하다. 다만, 윈도우 길이와 코드북 크기 같은 하이퍼파라미터에 민감하고, 매우 긴 연속 행동에서는 변곡점 검출이 과도하게 세분화될 위험이 있다는 제한점도 존재한다.