시선을 돌려라: 보상 유도 대조 학습으로 시각 주의를 형성하다

초록

본 연구는 고차원 이미지 입력으로 인해 샘플 효율이 낮은 시각 강화학습의 문제를 해결합니다. 인간의 시선 고정에서 영감을 받아, ‘Gaze on the Prize’ 프레임워크를 제안합니다. 이는 에이전트가 높은 보상을 추구하는 경험에서 얻은 자기 지도 신호로 가이드되는 학습 가능한 주의 메커니즘을 시각 강화학습에 추가합니다. 핵심 아이디어는 보상 차이가 중요한 요소를 드러낸다는 것입니다. 두 개의 유사한 표현이 다른 결과를 낳는다면, 그들을 구분하는 특징이 작업과 관련 있을 가능성이 높으므로 시선은 그에 따라 집중해야 합니다. 보상 유도 대조 학습을 통해 주의 메커니즘은 성공과 실패를 구분하는 특징에 초점을 맞추도록 훈련됩니다. 이 방법은 기준 방법 대비 최대 2.52배의 샘플 효율 향상을 달성하고, ManiSkill3 벤치마크의 어려운 작업을 해결할 수 있습니다.

상세 분석

이 논문의 기술적 핵심은 ‘보상 차이’라는 강력하면서도 간단한 신호를 활용하여 시각 주의 메커니즘을 자기 지도 방식으로 학습시키는 데 있습니다. 기존의 시각 강화학습은 고차원 픽셀 공간에서 관련 없는 배경 정보에 많은 탐색 및 계산 자원을 낭비하는 문제가 있었습니다. 본 연구는 이 문제를 인간의 시각 처리 방식인 ‘포비아(foveation)‘에 비유하여 접근합니다. 즉, 시야의 작은 영역(포비아)에만 고해상도 주의를 기울이는 방식입니다.

구현 상의 핵심 기여는 다음과 같습니다. 첫째, 주의 메커니즘을 2D 가우시안 분포로 모델링한 ‘포비얼 어텐션’을 도입했습니다. 이는 단 5개의 파라미터(중심 위치 µ_x, µ_y, 공분산 σ_x, σ_y, σ_xy)로 표현되며, 로봇 매니퓰레이션 작업에 적합한 강한 귀납적 편향을 제공합니다. 이는 해석 가능한 시각화를 가능하게 하면서도 계산 오버헤드는 최소화합니다. 둘째, ‘보상 유도 대조 학습’ 알고리즘을 설계했습니다. 에이전트의 경험 버퍼에서 시각적 특징이 유사하지만 보상이 다른 샘플들을 ‘앵커’, ‘긍정’, ‘부정’ 삼중항으로 구성합니다. 삼중항 손실은 앵커와 긍정 샘플의 표현 거리는 줄이고, 앵커와 부정 샘플의 표현 거리는 늘리도록 주의 메커니즘을 훈련시킵니다. 이 과정에서 주의 메커니즘은 높은 보상과 낮은 보상을 만드는 시각적 특징을 구분하는 데 필수적인 영역에 초점을 맞추도록 조정됩니다.

이 접근법의 뛰어난 점은 기존 강화학습 알고리즘(예: PPO, SAC)의 구조나 하이퍼파라미터를 변경하지 않고, 단순히 경량의 주의 모듈과 보조 손실 함수를 추가하는 ‘플러그인’ 방식으로 작동한다는 것입니다. 이는 방법론의 실용성과 적용 범위를 크게 높입니다. 실험 결과, 제안 방법은 기준 CNN 기반 방법뿐만 아니라 CURL과 같은 대조 학습 기반 표현 학습 방법보다도 월등한 성능 향상을 보였으며, 특히 보상 신호가 희소하거나 배경 방해 요소가 많은 복잡한 매니퓰레이션 작업에서 강점을 발휘했습니다.