상호작용으로 배우는 직관 물리, 비전 언어 모델의 한계

초록

본 연구는 사전 학습된 비전‑언어 모델(VLM)이 직관 물리 지식을 습득하기 위해 환경과의 상호작용을 통한 강화학습(RL)을 적용했지만, 학습된 모델이 새로운 물리 과제나 실제 이미지에 일반화되지 못함을 보여준다. 인터랙티브 학습과 비인터랙티브(지도 학습) 모두 훈련 과제에서는 최고 수준의 성능을 기록했으나, 물리 원칙을 일반화하는 데는 실패하였다.

상세 분석

이 논문은 인간이 물리 세계를 이해하는 과정에서 직접적인 행동과 실험이 핵심이라는 인지 과학 가설을 검증하고자, 최신 대형 비전‑언어 모델(Qwen3‑VL 8B)을 두 가지 학습 방식으로 비교하였다. 첫 번째는 그룹‑상대 정책 최적화(GRPO)라는 강화학습 알고리즘을 이용해 모델이 블록 타워 환경에서 행동을 선택하고 보상을 받으며 학습하도록 한 ‘인터랙티브’ 조건이다. 두 번째는 동일한 데이터셋에 대해 정답 라벨을 제공하고 교차 엔트로피 손실을 최소화하는 ‘비인터랙티브’ 조건(SFT)이다. 두 조건 모두 파라미터 효율 파인튜닝(PEFT, LoRA 어댑터)으로 가중치를 제한적으로 업데이트했으며, 학습 단계, 하이퍼파라미터, GPU 환경을 동일하게 유지하였다.

데이터는 ThreeDWorld 물리 엔진으로 생성한 2~4개의 컬러 블록으로 이루어진 타워 이미지 두 종류(상단 블록이 옆으로 치우친 경우와 바닥에 옆으로 놓인 경우)와, 실제 목재 블록 타워 사진(Lerer et al., 2016)으로 구성되었다. 네 가지 과제(이진 안정성 판단, x‑축 이동, x‑y 축 이동 등)를 정의하고, 각 과제마다 모델이 텍스트 토큰 시퀀스로 행동을 출력하도록 설계하였다. 보상 함수는 정답 여부와 물리적 안정성(거리 기반 가우시안 보상) 등을 정량화했으며, 비정형 답변에 대해서는 큰 페널티를 부여했다.

실험 결과, GRPO와 SFT 모두 훈련 과제에서는 거의 완벽에 가까운 정확도(이진 안정성 0.969)와 보상 점수(최대 20점) 를 달성했다. 그러나 훈련되지 않은 새로운 과제나 실제 이미지에 대한 전이 성능은 급격히 떨어졌으며, 두 학습 방식 간 차이는 통계적으로 유의미하지 않았다. 특히, 모델 내부 표현을 레이어별로 디코딩했을 때 물리적 변수(예: 블록 중심 거리, 안정성) 가 높은 상관성을 보였음에도 불구하고, 이를 텍스트 출력으로 변환하는 과정에서 손실이 발생한다는 점을 발견했다. 이는 모델이 물리적 ‘지식’은 내재하고 있으나, 이를 ‘행동’이나 ‘언어’ 형태로 일관되게 표현하지 못한다는 의미로 해석될 수 있다.

또한, 온라인 RL이 오프라인 RL이나 지도 학습보다 일반화에 유리하다는 기존 주장과 달리, 본 연구에서는 단일 스텝 RL(그룹‑상대 정책 최적화)만을 사용했음에도 불구하고 일반화 향상이 관찰되지 않았다. 이는 물리적 세계의 복잡한 인과 구조를 학습하기 위해서는 다단계 시뮬레이션, 멀티모달 센서 피드백, 혹은 보다 풍부한 탐험 전략이 필요함을 시사한다. 마지막으로, 실험에 사용된 어댑터 크기(r=16)와 학습 스텝(10,000) 등 제한적인 리소스가 결과에 영향을 미쳤을 가능성도 논의되었다.

요약하면, 인터랙티브 강화학습이 VLM의 특정 물리 과제 성능을 향상시킬 수는 있지만, 인간 수준의 직관 물리 일반화 능력을 부여하기에는 아직 한계가 크며, 모델 구조·학습 목표·환경 설계 전반에 걸친 새로운 접근이 필요함을 강조한다.