다윈식 메모리: 훈련 없이 스스로 진화하는 GUI 자동화 기억 체계

초록

다윈식 메모리 시스템(DMS)은 GUI 자동화 에이전트가 장기·다중 애플리케이션 작업을 수행할 때 발생하는 컨텍스트 제한과 기억 오염 문제를 해결한다. 작업 흐름을 재사용 가능한 서브플랜 단위로 분해하고, 유틸리티 기반 자연 선택과 ε‑돌연변이 메커니즘을 통해 오래된 혹은 위험한 기억을 자동으로 정리·진화시킨다. 실험 결과, 기존 멀티모달 LLM 기반 에이전트 대비 성공률 18 %·안정성 33.9 % 향상과 지연 감소를 달성하였다.

상세 분석

본 논문은 GUI 자동화에서 대형 멀티모달 언어 모델(MLLM)이 직면한 두 가지 근본적인 한계, 즉 컨텍스트 윈도우의 제한으로 인한 “컨텍스트 암네시아”와 정적 메모리 축적에 따른 “컨텍스트 오염”을 정확히 짚어낸다. 기존 메모리 방식은 전체 작업 흐름을 하나의 긴 시퀀스로 저장하고, 유사도 기반 검색으로 재사용한다. 이는 고수준 목표와 저수준 행동이 과도하게 결합돼 환경 변화에 취약하고, 오래된 트래젝터리가 지속적으로 노이즈를 발생시켜 모델이 환각을 일으키는 원인이 된다.

다윈식 메모리 시스템(DMS)은 이러한 구조적 문제를 ‘생태계’ 개념으로 재구성한다. 핵심 아이디어는 작업을 독립적인 서브플랜(Precondition‑Goal 쌍)으로 분해하고, 이를 재사용 가능한 메모리 유닛으로 저장하는 것이다. 각 유닛은 (① 자연어 요약인 Precondition‑Goal, ② 실제 실행 트래젝터리 τ, ③ 메타데이터) 로 구성되며, 단일 액션 수준의 트래젝터리는 필터링해 메모리 밀도를 높인다.

검색 단계에서는 Dual‑Factor Retrieval을 적용한다. 입력된 플래너 목표 ˆp와 메모리 p 사이의 유사도를 사전조건과 목표 각각에 대해 별도 임베딩(ϕ)으로 계산하고, 두 값을 곱해 최종 점수를 산출한다. 이는 시작 UI 상태와 목표 상태가 모두 일치할 때만 매칭되도록 하여 false‑positive를 크게 감소시킨다.

진화 메커니즘은 두 축으로 이루어진다. 첫째, ε‑Mutation: 높은 신뢰도의 메모리를 재사용하더라도 작은 확률 ε(예: 0.05)로 완전 새 플랜을 시도한다. 새 플랜 τ′가 기존보다 짧고 성공률이 높으면 기존 메모리를 In‑place Evolutionary Replacement로 교체한다. 둘째, Utility‑Driven Natural Selection: 각 메모리 m_i에 대해 사용 빈도 n_i, 마지막 사용 시점 Δt, 실패 횟수 K_i 등을 고려한 복합 점수 S(m_i)를 계산한다. 구체적으로

• Marginal Utility: ln(1 + n_i)에 신규 메모리 보정 V_new을 더해 초기 진입 장벽을 낮춘다.
• Adaptive Temporal Decay: 시그모이드 함수 1/(1+e^{β(Δt‑T_half(n_i))}) 로 오래된 메모리를 자연스럽게 감쇠시킨다. 여기서 T_half은 사용 빈도에 로그적으로 증가한다.
• Reliability Penalty: 1/(1+γK_i) 로 검증 실패가 누적된 메모리를 급격히 낮춘다.

이 세 요소를 곱해 최종 생존 가치 S를 산출하고, 일정 주기마다 Elbow Method 기반 임계값 이하의 메모리를 정리한다. 이렇게 하면 메모리 풀은 최신·고효율·신뢰성 높은 유닛으로 지속적으로 정제된다.

실험에서는 다중 애플리케이션 벤치마크(예: 파일 탐색 → 이메일 작성 → 웹 검색 등)에서 Qwen2.5‑VL, Qwen3‑VL, GLM‑4.5V 등 8개의 최신 MLLM을 그대로 사용했음에도 불구하고, DMS 적용 시 평균 성공률이 18 % 상승하고 실행 안정성이 33.9 % 개선되었다. 특히, 메모리 재사용으로 토큰 소모가 감소해 평균 지연 시간이 4~2 % 수준으로 단축되었다.

이러한 결과는 훈련 비용이 전혀 들지 않으며, 기존 모델 아키텍처에 별도 모듈만 삽입하면 바로 적용 가능하다는 점에서 실용성이 크다. 또한, 자연 선택과 돌연변이라는 생물학적 메타휴리스틱을 메모리 관리에 도입함으로써, GUI 환경의 비정형·동적 특성에 적응하는 자기조절형 기억 체계를 최초로 구현했다는 점에서 학술적 기여도 높다.