환경 적응을 위한 자율 연속 학습 컴퓨터 사용 에이전트

초록

본 논문은 인간의 라벨링 없이 목표 디지털 환경에 스스로 적응하도록 설계된 ACuRL 프레임워크를 제안한다. 에이전트는 초기 탐색을 통해 환경 경험을 수집하고, 반복적인 강화학습 과정에서 자동 평가기 CUAJudge의 피드백을 활용해 난이도 조절된 커리큘럼 과제를 생성한다. 실험 결과, intra‑environment와 cross‑environment 연속 학습 모두에서 4 %~22 %의 성능 향상을 달성했으며, 파라미터 업데이트는 전체의 약 20 %에 국한돼 기존 환경에 대한 망각을 최소화한다.

상세 분석

ACuRL은 크게 네 가지 핵심 구성요소로 이루어진다. 첫째, 환경 탐색 단계에서는 사전 정의된 웹 크롤링 컨텍스트와 무제한 자유 탐색을 결합해, 에이전트가 목표 환경의 UI 구조, 기능 호출 흐름, 상태 전이 패턴 등을 자동으로 기록한다. 이때 수집된 (관찰, 행동) 시퀀스 τ_exp와 컨텍스트 트래젝터리 τ_ctx는 이후 과제 생성기의 입력으로 사용된다. 둘째, 커리큘럼 생성기는 현재 에이전트의 성공률 s_k를 기반으로 과제를 Easy, Medium, Hard 세 단계로 분류하고, 각각에 대해 난이도 상승, 다양성 확대, 계층적 분해라는 세 가지 전략을 적용한다. 특히 Hard 레벨에서는 작업을 의미 있는 서브스킬 단위로 분해해 중간 보상을 제공함으로써 장기 의존성을 완화한다. 셋째, 자동 평가기 CUAJudge는 최종 상태 차이와 함께 스크린샷, 로그 등 증거를 비교 분석해 성공 여부를 0‑1 보상으로 반환한다. 논문에서는 인간 평가와 93 % 일치율을 보고했으며, 이는 기존의 휴먼‑인‑더‑루프 방식 대비 비용 효율성을 크게 높인다. 넷째, 경량화된 환경 관리 프로토콜은 배치 환경 생성·삭제, 비동기 프리로드, 장애 복구 메커니즘을 제공해 대규모 RL 학습을 실시간으로 수행할 수 있게 한다.

학습 과정은 N번의 반복(iteration)으로 구성되며, 각 반복은 x번의 최적화 스텝 후 현재 과제 집합 T^(n) 에 대해 m번의 롤아웃을 수행해 평균 성공률 s^(n)_k 를 산출한다. 이 피드백을 토대로 G는 T^(n+1) 을 샘플링한다. 초기에는 인간 라벨이 전혀 없으므로, G는 τ_exp·τ_ctx 로부터 초기 과제 집합을 자체 생성하고, 이를 통해 첫 번째 평가를 진행한다(Iteration 0).

실험은 총 6개의 대표적인 디지털 환경(웹 브라우저, 프레젠테이션 소프트웨어, 스프레드시트 등)에서 수행되었다. intra‑environment 설정에서는 동일 환경 내 과제 난이도가 점진적으로 상승했으며, cross‑environment 설정에서는 서로 다른 UI와 동작 규칙을 가진 환경 사이에서 지식 전이가 관찰되었다. 성능 향상은 평균 4 %~22 %였으며, 기존 환경에 대한 성능 저하(재앙적 망각)는 거의 없었다. 파라미터 분석 결과, 전체 모델 파라미터 중 약 20 %만이 의미 있게 업데이트되었고, LLM 백본에서는 상위 레이어, 비전 인코더에서는 하위 레이어 중심으로 변화가 집중되었다. 이는 고차원 언어 이해와 저차원 시각 인식이 각각 독립적으로 적응한다는 가설을 뒷받침한다.

이러한 설계는 데이터 효율성, 스케일러빌리티, 안정적인 연속 학습이라는 세 축을 동시에 만족한다는 점에서 의미가 크다. 특히 인간 라벨이 전혀 없는 상황에서도 고품질 과제와 보상을 자동 생성한다는 점은 향후 실제 기업 내부 시스템이나 개인화된 데스크톱 환경에 에이전트를 배치할 때 큰 장점이 될 것이다. 다만, 현재는 탐색 단계에서 수집되는 경험이 충분히 다양해야 한다는 전제가 있으며, 탐색 정책 자체가 비효율적일 경우 초기 과제 품질이 저하될 가능성이 있다. 향후 연구에서는 메타‑탐색 혹은 샘플 효율성을 높이는 탐색 전략을 도입해 초기 데이터 수집 비용을 최소화하는 방향이 기대된다.