액추에이터 반전 제로샷 적응을 위한 동역학 정렬 공유 하이퍼네트워크

초록

본 논문은 잠재적 이진 컨텍스트에 의해 동일한 행동이 반대 효과를 내는 “액추에이터 반전” 문제를 해결하기 위해, 동역학 예측만으로 학습되는 단일 하이퍼네트워크가 생성하는 어댑터 가중치를 동역학 모델, 정책, Q‑함수에 공유하도록 설계한 DMA*‑SH 프레임워크를 제안한다. 입력 마스킹·정규화와 컨텍스트‑정렬 학습을 결합해 컨텍스트 추론을 안정화하고, 이론적 표현력·분산 분석을 통해 다중 모드 압축이 학습 안정성을 높임을 증명한다. 새로 만든 Actuator Inversion Benchmark(AIB)에서 제로샷 일반화 성능이 도메인 랜덤화 대비 111.8 %·기존 컨텍스트‑인식 기법 대비 16.1 % 향상된다.

상세 분석

DMA*‑SH는 기존 컨텍스트 강화 강화학습(CRL)에서 흔히 사용되는 “컨텍스트를 입력에 단순 연결”하는 방식과 달리, 하이퍼네트워크가 생성한 어댑터 파라미터 ω를 통해 모델 내부를 곱셈적으로 변조한다. 이 설계는 이진 컨텍스트가 요구하는 ‘부호 반전’과 같은 불연속적인 변환을 자연스럽게 구현한다는 점에서 이론적·실용적 우위를 가진다. 논문은 먼저 DMA*라는 기본 컨텍스트 인코더를 제시한다. 여기서는 K‑스텝 슬라이딩 윈도우 τₜᶜ를 LSTM에 입력하기 전에 무작위 마스킹과 AvgL1Norm을 적용해 입력 특성의 상관관계를 약화하고, SimNorm을 통해 출력 임베딩을 두 개의 4‑차원 심플렉스로 제한한다. 이러한 정규화는 작은 배치에서도 안정적인 표본‑별 정규화를 가능하게 하여, 온라인 RL 환경에서 컨텍스트 임베딩이 급격히 발산하거나 붕괴되는 현상을 방지한다.

하이퍼네트워크 h_η는 컨텍스트 zₜ를 받아 어댑터 가중치 ω를 생성한다. ω는 동역학 모델 f_{θ,ω}, 정책 π_{ξ,ω}, Q‑함수 Q_{ζ,ω}의 작은 병목 모듈에 삽입되어, 동일한 컨텍스트에 대해 세 네트워크가 일관된 변조를 받는다. 학습 단계에서는 동역학 예측 손실 L_{ϕ,θ,η}=‖δ̂_{t+1}−δ_{t+1}‖²만을 사용해 ϕ,θ,η를 공동 최적화한다. 정책·가치 업데이트 시에는 ω를 detach 처리해 보상 신호가 하이퍼네트워크와 컨텍스트 인코더에 역전파되지 않도록 함으로써, 컨텍스트 추론이 순수히 동역학 정렬 손실에 의존하도록 만든다. 이는 “동역학 정렬”이라는 강력한 구조적 사전지식을 정책에 주입하는 효과를 낸다.

이론적 기여는 세 부분으로 나뉜다. 첫째, Theorem A.1은 하이퍼네트워크가 제공하는 곱셈적 모듈레이션이 단순 연결보다 표현력에서 엄격히 우위에 있음을 보인다. 특히 이진 컨텍스트가 요구하는 함수 공간(예: f(s,a,c)=c·g(s,a) 형태)에서는 어댑터가 없을 경우 선형 결합으로는 재현이 불가능함을 증명한다. 둘째, Theorem A.11은 컨텍스트 임베딩의 전체 분산을 “컨텍스트 내 변동(within‑mode) + 컨텍스트 간 변동(between‑mode)”으로 분해하고, DMA*‑SH가 within‑mode 변동을 크게 억제함을 수식적으로 보여준다. 셋째, Theorem A.13은 정책 그래디언트 분산이 within‑mode 분산에 비례한다는 점을 이용해, 압축된 임베딩이 학습 안정성과 샘플 효율성을 향상시킴을 정량화한다.

실험에서는 Actuator Inversion Benchmark(AIB)를 새로 구축했다. AIB는 2‑D 로봇 팔, 모바일 로봇, 그리고 연속 제어 환경 등에서 액추에이터가 컨텍스트에 따라 부호가 반전되는 상황을 의도적으로 설계했다. 평가 프로토콜은 C_train, C_eval_in, C_eval_out 세 집합으로 나누어 제로샷 일반화를 측정한다. 결과는 DMA*‑SH가 C_eval_out에서 평균 111.8 % 높은 성공률을 보였으며, 기존 도메인 랜덤화(DR)와 컨텍스트 연결(Concat) 기반 방법을 각각 크게 앞섰다. 또한, “Separate Hypernetworks”(DA)와 같은 상위 성능 모델보다도 7.5 % 정도 우수했다. Ablation 실험에서는 입력 마스킹, AvgL1Norm, SimNorm, 그리고 어댑터 공유 각각이 성능에 기여함을 확인했다.

요약하면, DMA*‑SH는 (1) 동역학 예측을 통한 컨텍스트 정렬 학습, (2) 하이퍼네트워크 기반 곱셈적 어댑터 공유, (3) 정규화·마스킹을 통한 안정적 임베딩 압축이라는 세 축을 결합해, 이진 불연속 컨텍스트가 존재하는 제로샷 RL 문제를 효과적으로 해결한다.