시각적 목표 탐색을 위한 변분 보편 성공자 특징 근사기

초록

본 논문은 포토리얼리스틱 AI2‑THOR 환경에서 목표‑주도 시각 탐색을 수행하기 위해, A3C 기반 보편 성공자 특징(Universal Successor Features, USF) 구조에 변분 정보 병목(Variational Information Bottleneck, VIB)을 결합한 VUSFA 모델을 제안한다. 핵심 기여는 성공자 특징에 의존하는 정책(SFDP) 모듈을 도입해 상태‑행동 가치와 목표 표현을 분리하고, VIB를 통해 특징 공간을 압축·정규화함으로써 전이 학습 시 안정성과 효율성을 크게 향상시킨다. 실험 결과, VUSFA는 기존 최첨단 방법보다 목표 전이 성능과 학습 안정성에서 우수함을 입증한다.

상세 분석

VUSFA는 두 가지 주요 기술적 혁신을 결합한다. 첫 번째는 Universal Successor Features(USF)와 A3C 에이전트를 결합한 구조이다. USF는 상태‑행동 쌍에 대한 장기적인 특징(성공자 특징)을 학습함으로써, 다양한 목표 보상 함수에 대해 재사용 가능한 표현을 제공한다. 기존 USF 기반 방법은 보상 파라미터를 직접 입력받아 정책을 조정했지만, 목표가 시각적 이미지인 경우 고차원 이미지 공간에서 직접 보상 파라미터를 추정하기 어려웠다. 이를 해결하기 위해 저자들은 Successor Feature Dependent Policy(SFDP)를 설계하였다. SFDP는 성공자 특징을 입력으로 받아, 목표 이미지와의 유사도를 내재화한 정책 네트워크를 구성한다. 즉, 정책 π(a|s,g) 를 직접 학습하는 대신, π(a|s,ψ(g)) 형태로 변환하여 목표 이미지 g 를 성공자 특징 ψ(g) 로 매핑한다. 이렇게 하면 목표 이미지가 바뀌어도 동일한 정책 네트워크를 재사용할 수 있어 전이 효율이 크게 향상된다.

두 번째 혁신은 Variational Information Bottleneck(VIB)를 성공자 특징 학습에 적용한 것이다. VIB는 입력 정보를 제한된 차원의 잠재 변수 z 로 압축하면서, 원본 입력을 복원할 수 있는 최소한의 정보를 유지하도록 KL 발산을 최소화한다. VUSFA에서는 성공자 특징 ψ(s,a) 를 VIB를 통해 변분 분포 q(z|ψ) 로 매핑하고, 이 분포를 정책 및 가치 함수에 전달한다. 이 과정은 (1) 특징 공간의 과적합을 방지하고, (2) 서로 다른 목표 간의 공통된 구조를 강조하여 전이 학습 시 일반화를 촉진한다. 실험적으로 VIB를 적용한 모델은 학습 초반의 변동성이 크게 감소하고, 목표 전이 테스트에서 평균 성공률이 12%p 이상 향상되었다.

또한 저자들은 AI2‑THOR의 다양한 실내 씬(주방, 거실, 침실 등)과 복잡한 조명·물체 배치를 사용해 광범위한 평가를 수행했다. 전이 실험은 (i) 동일 씬 내 다른 목표, (ii) 다른 씬으로의 전이, (iii) 목표 이미지가 부분 가려진 경우 등 세 가지 설정으로 구성되었다. VUSFA는 모든 설정에서 기존 USF‑A3C, UVFA, 그리고 최근의 Goal‑Conditioned RL 방법보다 높은 성공률과 낮은 에피소드 길이를 기록했다. 특히, 목표가 부분 가려진 상황에서도 VIB가 잡음에 강인한 특징을 학습해 정책이 안정적으로 목표를 찾는 모습을 보였다.

전체적으로 VUSFA는 (1) 성공자 특징에 기반한 정책 설계(SFDP)로 목표 이미지와 행동 선택을 효과적으로 연결, (2) 변분 정보 병목을 통한 특징 압축·정규화로 전이 학습의 일반화 능력과 안정성을 크게 향상시킨다. 이러한 설계는 복잡한 시각적 목표 탐색 문제에 적용 가능하며, 오픈소스 구현을 제공함으로써 향후 연구자들이 쉽게 재현·확장할 수 있는 기반을 마련한다.