게이트렌즈 자동차 소프트웨어 릴리즈 분석을 위한 추론 강화 LLM 에이전트

초록

본 논문은 대규모 언어 모델(LLM)이 복잡한 표형 데이터 분석에서 발생하는 추론‑코드 격차를 해소하기 위해 관계대수(RA)를 중간 표현으로 도입한 GateLens 시스템을 제안한다. 자동차 소프트웨어 릴리즈 검증 업무에 적용한 결과, 기존 체인‑오브‑생각(Chain‑of‑Thought)+자기일관성(CoT+SC) 방식보다 정확도와 실행 속도에서 우수함을 입증했으며, 산업 현장에 배포해 분석 시간 80 % 이상 단축을 달성했다.

상세 분석

Gate렌즈는 “질의‑이해‑변환‑실행”이라는 3단계 파이프라인을 기반으로 설계되었다. 첫 단계에서는 LLM이 자연어 질의를 파싱해 도메인‑특화 스키마와 매핑하고, 두 번째 단계에서 파싱된 의미를 관계대수(RA) 식으로 변환한다. RA는 σ(선택), π(투사), ⋈(조인) 등 전통적인 관계 연산자를 사용해 논리적 흐름을 명확히 정의함으로써, 추론 단계와 코드 생성 단계 사이의 불일치를 최소화한다. 이때 각 RA 연산은 독립적인 블록으로 취급돼 재사용과 디버깅이 용이하며, LLM이 생성한 비정형 사고 흐름(예: CoT)과 달리 형식적 검증이 가능하다.

RA 식이 완성되면 Gate렌즈는 사전 정의된 템플릿에 따라 최적화된 파이썬(pandas) 코드를 자동 생성한다. 코드 생성 과정에서 LLM은 연산 순서, 데이터 타입, 메모리 효율성을 고려해 불필요한 중간 결과를 생략하고, 가능한 경우 벡터화 연산을 적용한다. 이렇게 함으로써 실행 속도가 크게 향상되고, 대규모 테이블(수십만 행)에서도 실시간 응답이 가능해진다.

실험에서는 GPT‑4o와 Llama 3.1 70B 두 모델을 사용해 동일한 질의 집합을 평가했으며, Gate렌즈는 복합 질의(다중 조인·조건·집계)에서 평균 정확도 93 %를 기록, CoT+SC는 78 %에 머물렀다. 특히 모호한 질의(예: “최근 릴리즈에서 가장 많이 발생한 결함 유형은?”)에 대해 RA 기반 추론이 의미론적 해석을 명확히 구분해 오류를 크게 줄였다.

Ablation 연구에서는 RA 레이어를 제거하고 직접 코드를 생성하도록 했을 때, 정확도는 15 %p 이하로 떨어지고, 코드 디버깅 시간도 두 배 이상 증가했다. 이는 RA가 추론‑코드 간의 인터페이스 역할을 수행함을 강력히 시사한다.

산업 현장 배포 사례에서는 Volvo 그룹의 릴리즈 파이프라인에 Gate렌즈를 통합해, 기존 수동 보고서 작성에 평균 45 분이 소요되던 작업을 8 분 이하로 단축했다. 사용자 설문에서는 투명성(“각 단계가 어떻게 수행됐는지 이해 가능”)과 신뢰성(“결과가 기대와 일치”)에서 4.7/5점 이상의 높은 평가를 받았다.

전반적으로 Gate렌즈는 (1) 중간 형식(RA) 도입으로 추론‑코드 격차를 메우고, (2) 실행 효율성을 확보하며, (3) 설정 비용을 최소화해 제로‑샷 환경에서도 안정적으로 동작한다는 세 가지 핵심 장점을 제공한다. 이러한 설계 원칙은 자동차뿐 아니라 의료·금융·규제 등 고신뢰성이 요구되는 도메인에도 일반화 가능하다.