정확한 실패 예측이 효과적인 실패 방지를 보장하지 않는다

초록

본 논문은 높은 AUROC를 보이는 이진 LLM 비평가가 실제 배포 시에는 모델에 따라 0 ~ 26 pp까지 성능을 악화시킬 수 있음을 실증한다. 실패 회복률 r과 방해률 d의 비율이 핵심이며, p > d/(r + d) 조건을 만족할 때만 개입이 이득이 된다. 저자는 50개 과제 파일럿을 이용해 사전 검증 절차를 제안하고, 고실패 ALFWorld에서는 소폭 개선(+2.8 pp), 고성공 HotPotQA·GAIA에서는 큰 감소를 확인한다.

상세 분석

이 연구는 “실행 시 개입”이라는 두 단계 시스템을 수학적으로 모델링하고, 개입 효과를 네 가지 확률 변수(실패율 p, 회복률 r, 방해률 d, 성공률 S)로 요약한다. 핵심 식 ΔSuccess = p·r − (1 − p)·d는 개입이 긍정적 효과를 내기 위한 임계조건 p > d/(r + d)를 명시한다. 실험에서는 동일한 비평가(AUROC 0.94)를 여러 백본 LLM에 적용했지만, 각 모델의 d/r 비율 차이 때문에 결과가 크게 달랐다. 예를 들어 MiniMax‑M2.1은 방해율 d가 회복율 r보다 현저히 높아, 고성공 HotPotQA에서 성공률이 25~30 pp 급감했다. 반면 Qwen‑3‑8B와 GLM‑4.7은 비교적 낮은 d/r을 보여 약간의 감소에 그쳤다.

또한, 저자는 두 가지 단순 개입 메커니즘(ROLLBACK, APPEND)을 도입했는데, ROLLBACK은 최근 행동을 되돌리고 재시도하게 하며, APPEND은 경고 메시지만 추가한다. 두 메커니즘 모두 d 값을 증가시키는 경향이 있었으며, 특히 ROLLBACK은 더 큰 방해를 야기해 성능 저하가 두드러졌다. 온도 스케일링을 통한 캘리브레이션은 예측 확률의 과신을 완화했지만, 개입 효과 자체를 바꾸지는 못했다.

가장 중요한 실용적 기여는 50개 과제 파일럿을 이용한 사전 검증 절차이다. 파일럿에서 p, r, d를 추정하고 p > d/(r + d) 여부를 판단함으로써, 전체 배포 전에 개입이 유익할지 여부를 예측한다. ALFWorld에서는 파일럿 결과가 p ≈ 89 % > p* ≈ 82 %를 보여, 실제 전체 평가에서도 +2.8 pp의 개선을 확인했다. 반대로 HotPotQA와 GAIA에서는 p가 임계값 이하였으므로 개입이 해를 끼치는 것이 사전에 예측되었다.

이러한 결과는 “예측 정확도만 높이면 충분하다”는 기존의 직관을 반박한다. 비평가의 AUROC가 높아도, 베이스 에이전트가 개입에 취약하면 오히려 성능이 크게 떨어진다. 따라서 향후 연구는 비평가 정확도 향상보다, 에이전트가 중간 단계 교정에 얼마나 탄력적인지를 측정하고, 개입 메커니즘 자체를 설계하는 방향으로 전환해야 한다.