전이 인식 후회 근사와 공동 학습 가능성을 활용한 환경 설계

초록

본 논문은 비지도 환경 설계(UED)에서 교사가 생성하는 과제의 난이도를 보다 정확히 추정하기 위해 기존의 가치 손실에 전이 예측 오류를 추가한 ‘전이 인식 후회 근사’를 제안한다. 또한 하나의 과제가 다른 과제들의 학습에 미치는 영향을 정량화하는 ‘Co‑Learnability’ 지표를 도입해 과제 우선순위 점수를 계산한다. 이 두 요소를 결합한 TRACED 알고리즘은 MiniGrid와 BipedalWalker 벤치마크에서 기존 최강 baselines보다 높은 제로샷 일반화 성능을 달성했으며, 전이 예측 오류가 커리큘럼의 복잡도 상승을 가속화하고 Co‑Learnability가 추가적인 성능 향상을 제공함을 실험적으로 입증한다.

상세 분석

TRACED는 UED 프레임워크에서 ‘후회(regret)’를 근사하는 방식을 근본적으로 재고한다. 기존 방법들은 최적 정책과 현재 정책 사이의 차이를 가치 함수 손실(PVL)이나 관측된 최대 반환(MaxMC) 등으로 대체했지만, 이는 환경 동역학에 대한 오차를 무시한다는 한계가 있다. 논문은 후회를 다음과 같이 분해한다: (i) 가치 추정 오차, (ii) 보상 격차, (iii) 미래 가치 격차. 특히 (iii) 항은 학습된 전이 모델 ˆP와 실제 전이 P 사이의 차이에 크게 의존한다. 이를 보완하기 위해 저자들은 ‘Average Transition‑Prediction Loss (ATPL)’를 정의하고, 에피소드당 ATPL을 PVL에 가중치 α와 함께 합산해 새로운 후회 근사값을 만든다. 이 접근은 전이 모델이 잘못 예측하는 상황을 직접적으로 반영함으로써 과제 난이도 추정의 신뢰성을 높인다.

다음으로 제안된 Co‑Learnability는 과제 i를 학습했을 때 현재 재생 중인 과제 집합 Tₖ₊₁의 난이도 감소량을 평균화한 값이다. 이는 샤플리 값과 유사한 기여도 측정을 목표로 하지만, 계산 비용을 크게 낮추기 위해 실제 난이도 변화(후회 감소)를 이용한다. Co‑Learnability가 양수이면 해당 과제가 다른 과제들의 학습을 촉진한다는 의미이며, β 파라미터를 통해 난이도와 전이 효과 사이의 트레이드오프를 조절한다.

TRACED의 전체 커리큘럼 흐름은 기존 ACCEL 루프를 그대로 유지하면서, 과제 선택 시 우선순위 점수(TaskPriority) = Rank( Difficulty + β·Co‑Learnability ) 로 대체한다. Rank 변환은 절대값의 이상치에 민감한 기존 방식과 달리 상대 순위만을 사용해 안정적인 샘플링을 보장한다. 또한, 새로운 과제는 일정 확률 d로 무작위 생성하고, 나머지는 우선순위 기반 재생 버퍼에서 선택한다.

실험에서는 MiniGrid의 12가지 미로와 BipedalWalker의 6가지 지형을 각각 학습 및 테스트에 사용했다. TRACED는 DR, PLR⊥, ACCEL, ADD, 그리고 BipedalWalker에서는 최신 SOTA인 CENIE와 비교했을 때, 평균 해결율과 IQM에서 모두 우위를 차지했다. Ablation 연구에서는 ATPL을 제외하면 커리큘럼 복잡도 상승이 현저히 늦어지고, Co‑Learnability를 제외하면 최종 제로샷 성능이 감소함을 확인했다. 또한, 커리큘럼 진화 시 난이도가 낮은 과제에서 점진적으로 높은 난이도로 전이되는 ‘복잡도 램프업’ 현상이 관찰되었다.

이러한 결과는 (1) 전이 예측 오류를 포함한 후회 근사가 과제 난이도 추정에 필수적이며, (2) 과제 간 전이 효과를 정량화한 Co‑Learnability가 커리큘럼 효율성을 크게 향상시킨다는 점을 시사한다. TRACED는 추가적인 모델링 비용 없이도 기존 UED 파이프라인에 쉽게 통합될 수 있어, 샘플 효율적인 커리큘럼 설계에 실용적인 기여를 한다.