진화적 컨텍스트 탐색을 통한 자동 스킬 습득

초록

본 논문은 대규모 언어 모델(LLM)이 배포 후 새로운 지식을 효율적으로 습득하도록 돕는 “진화적 컨텍스트 탐색(ECS)” 방법을 제안한다. 기존의 검색 기반 RAG가 의미적 유사도에 의존해 성능 향상이 제한적인 점을 극복하기 위해, 텍스트 자원을 ‘컨텍스트 유닛’으로 분해하고 유전 알고리즘 스타일의 선택·교차·돌연변이 연산을 통해 개발 셋의 정확도를 직접 피트니스 신호로 사용한다. 실험에서는 BackendBench에서 27 %, τ‑bench airline에서 7 %의 성능 향상을 기록했으며, Gemini‑3‑Flash에서 발견한 컨텍스트가 Claude Sonnet·DeepSeek 등 다른 모델에도 그대로 전이돼 효과를 유지한다.

상세 분석

ECS는 LLM의 파라미터를 전혀 수정하지 않고 순수 추론 호출만으로 컨텍스트를 최적화한다는 점에서 기존 파인튜닝·RL 기반 접근법과 근본적으로 차별화된다. 핵심 아이디어는 “컨텍스트 최적화 = 검색‑최적화”라는 관점을 수학적으로 정의하고, 이를 유전 알고리즘(GA)으로 구현한다는 것이다. 먼저 제공된 문서 집합 D를 g(D) 함수를 통해 원시 텍스트, 요약(insight), 재사용 가능한 스킬(skill) 등 세 가지 추상화 레벨의 유닛 U로 변환한다. 각 유닛은 독립적인 지식 조각으로 간주되며, 조합된 컨텍스트 C는 모델 M에 입력돼 개발 셋 T에서 성능 f(C;M,T)로 평가된다.

알고리즘 1은 초기 인구 P₀를 U에서 무작위 샘플링해 구성하고, 매 세대마다 전체 인구에 대해 피트니스를 측정한다. 상위 60 %를 elite 집합으로 선정한 뒤, 엘리트 간에 확률적 선택을 통해 부모 쌍을 뽑고, 교차 연산은 두 부모의 유닛을 단순히 연결(concatenation)한 뒤 길이 제한을 초과하면 무작위 서브샘플링한다. 돌연변이는 사전 정의된 변이율(기본 0.1)로, 새로운 유닛을 추가하거나 기존 유닛을 교체한다. 이때 중요한 점은 변이가 외부 자원 U에서 직접 이루어지므로, 모델이 사전에 알지 못하는 정보를 실제로 “주입”할 수 있다는 것이다.

또한, 교차·돌연변이 후에 LLM‑guided refinement 단계가 삽입된다. 여기서는 동일 모델이(또는 별도 검증 모델이) 생성된 컨텍스트를 읽고 논리적 모순이나 중복을 탐지·수정한다. 이는 단순 문자열 결합이 초래할 수 있는 지시문 충돌을 방지하고, 최종 컨텍스트의 일관성을 보장한다.

실험 설계는 두 가지 도메인에 초점을 맞춘다. 첫 번째는 GPU 전용 DSL인 CuTeDSL을 대상으로 한 코드 생성 과제로, BackendBench 벤치마크에서 기존 RAG 대비 27 % 정확도 상승을 기록했다. 두 번째는 다중 턴 사용자 지원 시나리오인 τ‑bench airline에서 7 %의 성공률 향상을 보였다. 특히, Gemini‑3‑Flash에서 진화시킨 컨텍스트를 Claude Sonnet·DeepSeek에 그대로 적용했을 때도 유사한 성능 개선이 확인돼, 컨텍스트 자체가 모델‑아그노스틱이라는 강력한 증거가 된다.

ECS의 장점은 크게 세 가지이다. (1) 성능 향상 – 의미 기반 검색이 놓치는 비직관적 조합을 발견함으로써 실질적인 정확도 상승을 달성한다. (2) 모델 독립성 – 파라미터 접근이 불가능한 폐쇄형 모델에도 적용 가능하며, 한 모델에서 진화된 컨텍스트를 다른 모델에 그대로 재사용할 수 있다. (3) 연산 효율성 – 추론 호출만으로 진행되므로 GPU·TPU 비용이 최소화되고, 전체 파이프라인이 몇 시간 내에 수렴한다(보통 5 ~ 7세대).

한계점으로는 (a) 개발 셋 T의 품질에 크게 의존한다는 점, (b) 컨텍스트 길이 제한으로 인해 매우 방대한 문서 집합을 전부 활용하기 어려워 사전 필터링이 필요하다는 점, (c) 현재는 단일 작업에 최적화된 컨텍스트를 찾는 데 초점을 맞추었으나, 다중 작업에 대한 일반화 컨텍스트 탐색은 추가 연구가 필요하다. 향후 연구에서는 메타러닝 기반의 자동 유닛 추출, 다목표 최적화, 그리고 인간‑인-루프 피드백을 결합해 컨텍스트 진화 과정을 더욱 정교화할 수 있을 것으로 기대된다.