에이전트 학습에서 인터페이스 의존성 진단과 의미 학습 구분

초록

본 논문은 궤적 기반 지도학습(trajectory‑SFT)으로 향상된 에이전트가 실제로 도구의 의미를 이해했는지, 아니면 훈련 시 사용된 인터페이스 형태를 암기했는지를 구분하기 위해 PIPE라는 프로토콜 수준 평가 방식을 제안한다. 인터페이스 이름만 바꾸는 최소한의 변형을 가해도 성능이 크게 떨어지는 경우는 인터페이스 단축(Shortcut) 의존을 의미한다. 실험 결과, trajectory‑SFT가 인터페이스 의존성을 크게 증가시키며, 기존 성공률만으로는 의미 학습과 인터페이스 단축을 구분할 수 없음을 보여준다.

상세 분석

이 논문은 최근 LLM 기반 에이전트가 도구를 호출하고 멀티턴 상호작용을 수행하는 과정에서 두 가지 근본적인 성공 요인이 혼재한다는 점을 지적한다. 첫 번째는 ‘의미 학습(semantic learning)’으로, 에이전트가 도구의 기능과 효과를 텍스트 설명을 통해 내재화하고, 관찰된 결과를 기반으로 올바른 도구를 선택한다. 두 번째는 ‘인터페이스 단축(interface shortcut)’으로, 훈련 데이터에 등장한 특정 액션 이름이나 호출 패턴을 그대로 기억해 재현함으로써 성공을 거두는 방식이다. 두 메커니즘은 원래 인터페이스에서는 동일한 성공률을 보이지만, 인터페이스가 약간 변형되면 의미 학습은 견고하게 유지되는 반면 인터페이스 단축은 급격히 성능이 저하된다.

이를 검증하기 위해 저자들은 PIPE( Perturb Interface Protocol for Evaluation)라는 평가 프레임워크를 설계했다. PIPE는 환경 인터페이스(I_E)만을 최소한으로 재작성하고, 액션 이름을 동의어 혹은 의미 없는 기호로 교체한다. 중요한 점은 기능 설명과 행동 구현은 그대로 유지해 작업 난이도 자체는 변하지 않도록 한다는 것이다. 이렇게 만든 변형 환경(E′)에서 원래 환경(E)과의 성공률 차이 Δ를 측정하면, Δ가 클수록 인터페이스 의존성이 강함을 의미한다.

또한 논문은 ‘Interface Reliance(IR)’이라는 정량적 지표를 제안한다. IR은 원래 인터페이스와 변형 인터페이스에서의 성공률을 비교해 편향을 보정한 값으로, 에이전트가 훈련 시 인터페이스에 얼마나 의존했는지를 수치화한다.

실험은 AgentBench와 AgentGym에 포함된 16개 환경을 대상으로 진행되었다. 다양한 오픈소스 모델(LLaMA2, Qwen, Gemma)과 API 기반 GPT 시리즈를 포함해, trajectory‑SFT 전후의 성능 변화를 관찰했다. 결과는 크게 두 가지로 요약된다. 첫째, PIPE 자체는 대부분 환경에서 작업 난이도를 크게 증가시키지 않는다. 비훈련 에이전트는 변형 인터페이스에서도 비슷한 성공률을 보이며, 경우에 따라 오히려 성능이 향상되기도 한다. 둘째, trajectory‑SFT를 적용한 모델은 인터페이스 변형 시 성능이 현저히 떨어졌다. 특히 심볼 기반 변형에서는 성공률이 20~40% 포인트 감소하는 경우가 많았다. 이는 trajectory‑SFT가 인터페이스 표면 형태에 과도하게 적합(overfit)하고 있음을 강력히 시사한다.

흥미로운 부가 실험으로는 훈련 단계에서 인터페이스 다양성을 인위적으로 증가시키면 IR 값을 낮출 수 있다는 점을 보여준다. 즉, 인터페이스 단축은 불가피한 현상이 아니라, 데이터 설계와 훈련 전략에 따라 완화될 수 있다.

이 논문은 기존 에이전트 벤치마크가 성공률만으로는 에이전트의 진정한 능력을 평가하기에 부족함을 밝히고, 인터페이스 변형을 통한 정밀 평가와 IR 지표 도입을 통해 보다 신뢰할 수 있는 평가 패러다임을 제시한다. 향후 연구는 인터페이스 독립적인 의미 학습을 촉진하는 훈련 기법, 그리고 다양한 도구와 환경에 일반화 가능한 에이전트 설계에 초점을 맞출 필요가 있다.