시각적 스냅샷 기반 장기 정보 탐색 에이전트를 위한 정보 인식 신용 할당

초록

본 논문은 웹 페이지를 텍스트가 아닌 렌더링된 이미지 스냅샷으로 처리하고, 각 스냅샷이 최종 정답에 미친 영향을 사후 분석을 통해 추정하는 정보‑인식 신용 할당(ICA) 기법을 제안한다. ICA는 획득된 증거 단위별 성공 확률을 계산해 밀집형 턴‑레벨 보상으로 변환하고, 이를 GRPO 기반 강화학습 파이프라인에 통합한다. 실험 결과, 시각적 관찰과 ICA를 적용한 에이전트가 텍스트 기반 베이스라인보다 다양한 장기 정보 탐색 벤치마크에서 일관된 성능 향상을 보였다.

상세 분석

이 연구는 두 가지 핵심 문제를 동시에 해결한다. 첫째, 기존 웹 정보 탐색 에이전트가 HTML을 텍스트로 파싱하면서 레이아웃 구조와 시각적 단서를 상실하고, 불필요한 네비게이션 요소나 스크립트 텍스트가 혼합돼 신호‑대‑노이즈 비가 낮아지는 점이다. 저자는 웹 페이지를 렌더링된 이미지 스냅샷으로 직접 입력함으로써, 헤딩, 표, 강조 영역, 이미지·차트 등 시각적 정보를 그대로 보존한다. 이는 에이전트가 레이아웃 기반 힌트를 활용해 중요한 증거를 빠르게 로컬라이징하고, 잡음 요소를 억제하도록 돕는다.

둘째, 장기 시퀀스에서 최종 정답만을 보상으로 주는 전통적 강화학습 방식은 신용 할당이 희박해 학습이 불안정해지는 문제를 안고 있다. ICA는 “사후(post‑hoc)” 접근법으로, 배치로 수집된 전체 트래젝터리를 분석해 각 원자 증거(evidence unit)의 성공 기여도를 추정한다. 구체적으로, 각 증거가 포함된 트래젝터리와 포함되지 않은 트래젝터리의 성공률을 비교해 (P(R=1|I_e=1)) 와 (P(R=1|I_e=0)) 를 계산하고, 차이를 기반으로 마진 보상을 정의한다. 이 마진 보상은 해당 증거를 최초로 획득한 검색·페치 턴에 역전파되어, 에이전트가 “어떤 검색·클릭이 실제로 유용했는가”를 명시적으로 학습하게 만든다.

기술적으로 ICA는 다음 절차를 따른다. (1) 현재 정책으로 N개의 트래젝터리를 수집하고, 각 트래젝터리를 성공/실패 라벨링한다. (2) 트래젝터리 내에서 원자 증거 집합 (E^{(n)}) 를 추출한다. 여기서 원자 증거는 검색 결과 하나 혹은 페치된 스냅샷 하나에 해당한다. (3) 각 증거 (e) 에 대해 획득 여부 (I_e^{(n)}) 를 이진화하고, 성공 확률을 경험적 비율로 추정한다. (4) 마진 (\Delta_e = P(R=1|I_e=1) - P(R=1|I_e=0)) 를 계산하고, 이를 해당 증거를 도입한 턴의 보상 (\tilde r_{t}) 로 할당한다. (5) GRPO(Generalized Reward‑Based Policy Optimization) 프레임워크에 이 밀집 보상을 삽입해 정책 업데이트를 수행한다.

이 설계는 두 가지 장점을 제공한다. 첫째, 증거 단위 수준의 신용 할당은 툴 호출 파라미터가 미세하게 변해도 동일한 시각적 증거가 재사용될 수 있게 하여, 기존 방법이 요구하던 “상태 유사성” 가정에 대한 의존도를 낮춘다. 둘째, 스냅샷 기반 관찰은 텍스트 파싱 오류와 토큰 길이 제한을 회피해, 고해상도 시각 정보를 그대로 활용함으로써 특히 차트·이미지·표와 같은 비텍스트 증거가 중요한 도메인에서 강인성을 확보한다.

실험에서는 WebSearch, Fetch, Answer의 3가지 액션을 갖는 전형적인 ReAct‑style 에이전트를 기반으로, 다양한 멀티‑홉·딥‑서치 벤치마크(예: Bamboogle, Xbench‑DS, BrowseComp, SealQA)를 평가하였다. 모델 규모를 7B에서 70B까지 확장했을 때, ICA‑통합 모델은 텍스트‑기반 베이스라인 대비 평균 3~7%p의 정확도 향상을 기록했으며, 특히 긴 트래젝터리(>10턴)에서 성공률이 크게 개선되었다. 또한, 어텐션 시각화와 사례 분석을 통해 에이전트가 스냅샷 내 레이아웃 힌트를 활용해 핵심 증거를 선택하고, 불필요한 페이지를 무시하는 행동 패턴을 학습함을 확인했다.

전체적으로 이 논문은 “시각적 스냅샷 + 정보‑인식 신용 할당”이라는 새로운 패러다임을 제시함으로써, 웹 기반 장기 정보 탐색에서의 신호‑대‑노이즈 문제와 희박한 보상 문제를 동시에 완화한다는 점에서 의미가 크다. 향후 연구는 스냅샷에 대한 멀티‑모달 인코더 설계, 증거 단위의 자동 군집화, 그리고 인간 피드백을 결합한 하이브리드 ICA 확장 등으로 이어질 수 있다.