오프라인 시뮬레이션으로 LLM 기반 소프트웨어 스크립트 자동화 스킬을 발견하다

초록

본 논문은 대형 언어 모델(LLM)과 공개 스크립팅 가이드를 활용해 오프라인 시뮬레이션 환경에서 검증된 스크립트(스킬) 집합을 자동으로 구축하는 프레임워크를 제안한다. 작업 생성 단계에서는 상위‑레벨 기능 가이드와 하위‑레벨 API 시너지 탐색을 결합하고, API 간 협업 가능성을 파악하기 위해 그래프 신경망(GNN) 기반 링크 예측 모델을 학습한다. 이후 스킬 생성 단계에서는 실행 피드백과 검증자를 이용해 여러 차례 시도(trial)를 거쳐 코드를 정제한다. Adobe Illustrator를 실험베드로 사용한 결과, 기존 런타임 코드 생성 방식에 비해 자동화 성공률, 응답 시간, 토큰 비용 모두 크게 개선되었음을 보인다.

상세 분석

이 연구는 “런타임에 LLM이 바로 코드를 생성하는” 기존 접근법이 갖는 보안·품질·비용 문제를 근본적으로 회피한다는 점에서 의미가 크다. 오프라인 시뮬레이션을 통해 미리 검증된 스크립트를 데이터베이스화함으로써, 실제 사용자 요청이 들어올 때는 단순 검색·재사용만으로 빠른 응답을 제공한다. 작업 생성 단계는 두 축으로 설계된다. 첫 번째는 소프트웨어 매뉴얼에서 추출한 고수준 기능(예: ‘객체 정렬’, ‘그리기’)을 LLM에 프롬프트해 관련 작업을 다량 생성하는 ‘top‑down’ 방식이다. 두 번째는 API 레벨에서 가능한 조합을 탐색하는 ‘bottom‑up’ 방식으로, 여기서 핵심은 API 시너지 그래프이다. 각 API를 노드로, 기존 검증된 스크립트에서 함께 등장한 API 쌍을 엣지로 하여 그래프를 구성하고, GCN 기반 링크 예측 모델을 학습한다. 이 모델은 노드의 의미적 임베딩과 구조적 정보를 동시에 활용해, 아직 관찰되지 않은 API 쌍의 협업 가능성을 추정한다. 결과적으로 장기적으로 사용되지 않던 ‘롱테일’ API까지도 작업 생성 프롬프트에 포함시켜 스킬 다양성을 크게 확대한다.

스킬 생성 단계에서는 LLM이 생성한 초기 스크립트를 실제 Illustrator 환경에서 실행하고, 오류 로그·시각적 결과를 수집한다. 여기서 또 다른 LLM(또는 LVLM)을 검증자로 두어, 코드와 실행 결과를 종합적으로 평가하고 구체적인 개선점을 피드백한다. 피드백은 구조화된 프롬프트 형태로 LLM에 전달되어, 최대 세 번의 반복(trial) 동안 코드를 점진적으로 정제한다. 검증을 통과한 스크립트만이 최종 스킬셋에 저장된다.

실험 결과는 세 가지 핵심 지표에서 기존 런타임 코드 생성보다 우수함을 보여준다. 첫째, 자동화 성공률이 23%p 상승했으며, 이는 시너지 API 탐색이 실제 사용 사례를 더 폭넓게 커버함을 의미한다. 둘째, 런타임 응답 시간이 평균 1.8배 단축돼 사용자 경험이 크게 개선된다. 셋째, 토큰 소비가 평균 35% 감소해 비용 효율성도 확보된다. 또한, 오프라인 시뮬레이션 과정에서 수집된 실행 로그는 향후 LLM의 코드 생성 능력을 지속적으로 향상시키는 피드백 루프 역할을 할 수 있다.

하지만 몇 가지 한계도 존재한다. 현재는 Adobe Illustrator 하나의 도메인에 집중했으며, API 시너지 그래프 구축에 필요한 초기 스크립트(‘seed scripts’)가 충분히 확보되지 않으면 모델 성능이 저하될 위험이 있다. 또한, 검증자를 LLM에 의존함으로써 검증 자체의 정확도가 모델에 따라 변동될 수 있다. 향후 연구에서는 다중 소프트웨어(예: Photoshop, Office)로 확장하고, 정형·비정형 검증자를 혼합한 하이브리드 검증 체계를 도입해 신뢰성을 강화할 필요가 있다.