물리 실험을 배우는 딥 강화학습 에이전트

본 논문은 인간 영아가 물체와의 상호작용을 통해 질량·마찰·응집력 등 비시각적 물리 속성을 추론하는 과정을 인공지능에 적용하고자 한다. 이를 위해 두 가지 시뮬레이션 환경, *Which is Heavier*와 *Towers*를 설계하였다. 첫 번째 환경은 네 개의 동일 크기 블록이 수직으로 배열된 상태에서 각 블록의 질량이 무작위로 할당된다. 질량은 베타 분포(β 파라미터)로 샘플링되어 난이도를 조절한다. 에이전트는 블록에 직접 위·아래 힘을 가해 움직임을 관찰하고, 가장 무거운 블록을 식별해야 한다. 두 번째 환경은 여러 개의 강체 블록으로 구성된 탑을 에이전트가 충돌시켜 무너뜨린 뒤, 남은 조각 수를 통해 탑이 몇 개의 강체로 이루어졌는지를 추정한다. 두 환경 모두 물체의 물리적 속성이 외관과 무관하게 설정되므로, 시각 정보만으로는 정답을 알 수 없으며 반드시 행동을 통해 정보를 획득해야 한다. 논문의 핵심 설계는 **탐색‑라벨링‑보상**의 3단계 에피소드 구조이다. 에피소드 초반에 에이전트는 자유롭게 탐색 행동을 수행하며 정보를 모은다. 일정 시점에 라벨링 행동을 선택하면, 현재까지 수집한 정보를 바탕으로 질문에 대한 답을 제출하고 즉시 보상이 주어진다. 라벨링을 하지 않고 시간 제한(100 스텝)이 초과되면 음의 보상이 주어지고 에피소드가 종료된다. 라벨링 시점을 에이전트가 스스로 결정하게 함으로써, **정보 획득 비용**과 **오답 위험** 사이의 트레이드오프를 학습하도록 설계하였다. 학습에는 Asynchronous Advantage Actor‑Critic(A3C) 알고리즘을 사용하였다. 에이전트는 100개의 은닉 유닛을 가진 LSTM으로 시계열 정보를 통합하고, 입력 형태에 따라 두 가지 전처리 파이프라인을 거친다. 특징 기반 입력의 경우 관측값을 바로 LSTM에 전달하고, 픽셀 기반 입력의 경우 84×84 크기로 리사이즈한 뒤 3개의 Conv‑ReLU 레이어(필터 32‑64‑64, 커널 8‑4‑3, 스트라이드 4‑2‑1)를 통과시켜 LSTM에 입력한다. 에피소드 전체 길이보다 긴 unroll 길이를 유지해 전체 에피소드를 역전파함으로써, 탐색 단계와 라벨링 단계 사이의 의사결정 연쇄를 효과적으로 학습한다. 난이도와 비용을 조절하는 두 파라미터가 실험에 큰 영향을 미친다. **문제 수준 난이도**는 베타 분포의 β 파라미터로 제어되며, β가 클수록 질량 차이가 크게 나와 문제를 쉽게 만든다. **정보 비용**은 할인 인자 γ 로 간접 제어한다. γ가 작으면 미래 보상이 급격히 감소해 에이전트가 빠른 라벨링을 선호하고, γ가 크면 장기 보상이 강조돼 더 오래 탐색해 정확도를 높이려 한다. 실험 결과는 두 환경 모두에서 학습된 정책이 무작위 정책보다 현저히 높은 성공률을 보였음을 확인한다. *Which is Heavier*에서는 β=5(중간 난이도)에서 픽셀 입력 기준 평균 성공률 0.85, 특징 입력 기준 0.92를 달성했으며, β=1(높은 난이도)에서도 0.60 이상을 유지했다. 에이전트는 질량 차이가 큰 블록을 우선적으로 테스트하는 전략을 스스로 발견했으며, 이는 베이즈적 최적 실험 설계와 유사한 행동이다. *Towers* 환경에서는 에이전트가 초기 몇 스텝만에 탑을 부수고 남은 조각 수를 빠르게 파악해 라벨링함으로써, 시간 스케일이 변하는 상황에서도 높은 정확도와 낮은 평균 라벨링 시점을 기록했다. 하지만 논문은 몇 가지 제한점을 가지고 있다. 첫째, 액추에이터가 **직접 힘 적용**이라는 단순화된 형태로 구현돼 실제 로봇 팔이나 손가락과 같은 복잡한 조작을 다루지 않는다. 둘째, 물리 엔진의 정확도에 의존하기 때문에 시뮬레이션‑현실 간 격차가 존재한다. 셋째, 현재 라벨링은 이산형(가장 무거운 블록, 강체 개수) 질문에만 적용되며, 연속적인 물리량(예: 마찰계수) 추정에는 추가적인 설계가 필요하다. 향후 연구 방향으로는 **메타‑학습**을 도입해 새로운 물리 환경에 빠르게 적응하도록 하거나, **다중 모달 센서**(촉각, 음향 등)를 결합해 보다 풍부한 실험 설계를 탐색하는 것이 제안된다. 또한, 복잡한 조작을 포함한 **로봇 팔 기반 액추에이터**를 도입해 실제 물리 실험으로의 전이 가능성을 검증하는 것이 중요한 과제로 남는다. 요약하면, 이 논문은 딥 강화학습을 이용해 에이전트가 물리적 속성을 실험적으로 탐색하고 추론하도록 학습시키는 새로운 프레임워크를 제시했으며, 정보 획득 비용과 정답 정확도 사이의 균형을 스스로 학습함으로써 인간 영아와 유사한 “실험‑학습” 메커니즘을 구현했다.