키친 루프 사용자 사양 기반 자가 진화 코드베이스

본 논문은 “코드 생산은 이제 상품화된 단계이며, 핵심 병목은 무엇을 만들고 그것이 제대로 동작하는지를 증명하는 것”이라는 전제에서 출발한다. 이를 해결하기 위해 저자는 “키친 루프(Kitchen Loop)”라는 프레임워크를 제시한다. 키친 루프는 네 가지 핵심 구성 요소, 즉 (1) 사양 표면(Specification Surface), (2) “As a User × 1000”(AaU1000) 방식의 고속 사용자 시뮬레이션, (3) 무적 테스트(Unbeatable Tests), (4) 드리프트 제어(Drift Control)로 이루어진 통합 신뢰 모델을 기반으로 한다. 사양 표면은 제품이 제공한다고 주장하는 기능, 지원 플랫폼, 가능한 액션을 모두 열거한 매트릭스로 정의된다. 이는 커버리지‑소진 모드에서 에이전트가 모든 조합을 체계적으로 탐색하도록 하는 출발점이다. AaU1000 단계에서는 LLM 에이전트가 인간 사용자를 1,000배 빠른 속도로 시뮬레이션하여 사양에 정의된 시나리오를 실제로 실행한다. 실행 중 발생한 오류는 즉시 구체적인 티켓으로 전환되며, 에이전트는 해당 티켓을 자동으로 수정·테스트·PR 생성까지 수행한다. 무적 테스트는 코드 작성 에이전트가 만든 테스트를 신뢰하지 않는다. 대신 외부 다중 모델(Code x, Gemini, CodeRabbit 등)과 독립적인 평가자를 활용해 4계층(컴파일·실행·파싱·상태 변화) 검증을 수행한다. 이 테스트는 실제 시스템 상태와 비교하는 “ground‑truth” 검증을 목표로 하며, 테스트 자체를 조작해 통과시키는 행위를 방지한다. 테스트가 통과하면 해당 PR은 “UAT 게이트”를 통과한 것으로 간주된다. 드리프트 제어는 회귀 오라클과 품질 메트릭을 지속적으로 모니터링하고, 품질이 하락하면 자동으로 루프를 일시 중지(pause gate)한다. 이는 “Goodhart” 현상을 방지하고, 사양과 실제 동작 사이의 간극을 최소화한다. 논문에서는 두 개의 실제 서비스에 대해 285회 이상의 반복을 수행했으며, 그 결과 1,094개 이상의 PR을 자동 병합하고 회귀 오라클이 탐지한 회귀는 0건이었다. 품질 게이트(L1‑L3)는 초기 76‑91%에서 100%로 수렴했고, PR당 비용은 약 0.38 달러에 불과했다. 키친 루프는 기존 자동 코딩 에이전트(Robotics, AutoCoder, OpenHands 등)가 주로 “작업 완료(Task‑Completion)” 모드에 머무는 것과 달리, 사양‑중심의 “커버리지‑소진” 모드로 전환한다. 이는 단일 이슈 해결이 아닌, 전체 사용자 시나리오를 끝까지 검증하는 접근법이다. 또한, 자체 인프라 오류를 감지·수정하는 “자기‑수정 체인”과 인프라 힐링을 자동화함으로써, Ralph Loop와 같은 장기 루프에서 발생할 수 있는 드리프트 문제를 사전에 차단한다. 관련 연구와 비교했을 때, 키친 루프는 (1) 사양‑기반 시나리오 생성, (2) 다중 모델을 활용한 무적 테스트, (3) 명시적 드리프트 제어라는 세 가지 요소를 모두 구현한 최초의 시스템이다. 기존의 Self‑Improving Agent, MetaGPT, USEagent 등은 각각 사양, 테스트, 협업 측면에서 부분적으로만 다루었으며, 품질 게이트와 회귀 오라클을 통한 자동 중단 메커니즘이 부재했다. 따라서 키친 루프는 LLM 기반 자동 개발이 직면한 “속도‑품질 역설”을 근본적으로 해결하는 실증적 증거를 제공한다. 결론적으로, 키친 루프는 사양‑검증‑드리프트 삼위일체를 통해 LLM 기반 자동 개발의 품질 저하와 관리 비용 문제를 해결하고, 장기적인 자가 진화 코드베이스 운영을 가능하게 하는 실용적인 프레임워크로 평가된다. 향후 연구에서는 사양 표면 자동 추출, 멀티‑도메인 확장, 그리고 인간‑AI 협업 인터페이스 개선을 통해 더욱 일반화된 적용이 기대된다.