다단계 파이프라인을 위한 선택적 테스트‑타임 스케일링

초록

대형 언어 모델(LLM) 에이전트는 테스트‑타임 스케일링(TTS)을 통해 보상 신호에 기반한 반복적 정제로 복잡한 추론을 자동화할 수 있다. 그러나 실제 작업은 종종 최종 결과에 검증 가능한 보상이 없거나 강건한 보상 모델을 학습할 충분한 데이터가 부족한 다단계 파이프라인을 포함한다. 이 경우 기존의 시간축 기반 정제는 단계가 진행될수록 판단 오류가 누적되는 문제를 야기한다. 우리는 단계별 판단자를 활용해 저품질 분기를 조기에 차단하고, 연산을 단계마다 분산시켜 정제 과정을 진행하는 ‘선택적 TTS(Selective TTS)’라는 프로세스 기반 정제 프레임워크를 제안한다. 데이터 과학 파이프라인을 토대로, 데이터셋을 입력받아 시각적으로 통찰력 있는 차트와 보고서를 자동 생성하는 종단‑멀티에이전트 파이프라인을 구축하고, 인간 전문가와의 상관계수(Kendall’s τ = 0.55)를 보이는 신뢰할 수 있는 LLM 기반 판단자를 설계하였다. 제한된 연산 예산 하에서 선택적 TTS를 적용하면 평균 점수가 61.64에서 65.86으로 상승하고 분산이 감소한다. 본 연구는 검증 불가능한 보상을 갖는 과학적 발견, 스토리 생성 등과 같은 복합 개방형 작업을 확장하기 위한 첫 걸음이 되기를 기대한다. 코드와 생성된 보고서는 공개되어 있다.

상세 요약

본 논문은 최근 LLM 에이전트가 ‘테스트‑타임 스케일링(Test‑Time Scaling, TTS)’이라는 메커니즘을 통해 반복적인 자기‑정제(self‑refinement)를 수행함으로써 복잡한 추론 작업을 자동화할 수 있다는 흐름에 기반한다. 기존 TTS는 동일한 작업에 대해 시간 축을 따라 여러 차례의 정제 루프를 수행하고, 각 루프마다 보상 모델(또는 ‘판단자’)이 제시하는 점수를 최대화하도록 프롬프트를 조정한다. 이 접근법은 보상이 명확히 정의되고 충분한 라벨 데이터가 존재하는 경우에 효과적이다. 그러나 실제 산업·연구 현장에서는 최종 산출물이 정량적 보상으로 직접 측정되기 어려운 다단계 파이프라인이 흔하다. 예컨대, 데이터 분석 파이프라인에서는 원시 데이터를 전처리하고, 통계 모델을 학습하고, 시각화와 해석 보고서를 작성한다. 각 단계마다 서로 다른 목표와 평가 기준이 존재하고, 최종 보고서의 ‘품질’은 인간 전문가의 주관적 판단에 크게 의존한다. 이런 상황에서 기존 TTS를 그대로 적용하면, 초기 단계에서 발생한 작은 오류가 판단자에 의해 과도하게 보강되어 후속 단계에 전파되는 ‘판단자 드리프트(judge drift)’ 현상이 나타난다. 즉, 판단자가 점점 잘못된 방향으로 학습되어 전체 파이프라인의 성능이 오히려 저하될 위험이 있다.

논문이 제시하는 해결책은 ‘선택적 TTS(Selective TTS)’라는 프레임워크이다. 핵심 아이디어는 “시간에 따라 반복”하는 대신 “파이프라인 단계별로 연산을 분산”하고, 각 단계마다 해당 단계에 특화된 판단자를 두어 저품질 후보를 조기에 차단한다는 것이다. 구체적으로는 다음과 같은 흐름을 따른다.

1. 단계별 후보 생성: 각 단계(예: 데이터 전처리, 차트 설계, 보고서 서술)마다 여러 LLM 에이전트가 서로 다른 출력을 생성한다.
2. 프로세스‑특정 판단자 평가: 각 단계에 맞게 설계된 판단자가 후보들을 점수화한다. 판단자는 인간 전문가와의 비교를 통해 사전 학습되며, 논문에서는 Kendall’s τ = 0.55라는 중간 수준의 상관성을 보고한다.
3. 조기 가지치기(Pruning): 일정 점수 이하의 후보는 파이프라인 다음 단계로 전달되지 않는다. 이렇게 하면 불필요한 연산을 절감하고, 오류가 누적되는 경로를 차단한다.
4. 잔여 후보에 대한 재정제: 남은 고품질 후보에 대해서만 제한된 연산 예산을 사용해 추가적인 TTS 루프를 수행한다.

이러한 구조는 두 가지 장점을 제공한다. 첫째, 연산 자원을 “시간”이 아니라 “단계”에 맞게 재배치함으로써 동일한 예산 하에서도 더 많은 후보를 탐색할 수 있다. 둘째, 단계별 판단자가 해당 단계의 특성을 반영하므로 전반적인 판단자 드리프트를 억제한다. 실험에서는 데이터 과학 파이프라인을 실제 데이터셋에 적용해, 동일한 연산 예산(예: GPU 시간)에서 기존 TTS 대비 평균 품질 점수가 61.64 → 65.86으로 상승했으며, 점수 분산도 감소함을 보고한다. 이는 선택적 TTS가 “품질‑다양성 균형”을 더 잘 맞춘다는 증거이다.

하지만 몇 가지 한계점도 존재한다. 첫째, 단계별 판단자를 별도로 학습해야 하므로 라벨링 비용이 증가한다. 특히 판단자 성능이 낮을 경우(τ < 0.5) 조기 가지치기가 과도하게 보수적이거나 관대해져 전체 파이프라인 효율이 떨어질 수 있다. 둘째, 현재 실험은 차트·보고서 생성이라는 비교적 구조화된 작업에 국한돼 있어, 스토리텔링이나 과학적 가설 생성처럼 더욱 자유형(open‑ended)인 작업에 대한 일반화 가능성은 아직 검증되지 않았다. 셋째, “조기 차단” 정책이 지나치게 엄격하면 잠재적인 혁신적 아이디어가 사전에 배제될 위험이 있다. 따라서 실제 적용 시에는 “탐색‑활용” 트레이드오프를 조정하는 메타‑파라미터 튜닝이 필요하다.

향후 연구 방향으로는 (1) 판단자 학습에 메타‑학습이나 인간‑인-루프(In‑the‑Loop) 피드백을 도입해 라벨 효율성을 높이는 방안, (2) 다단계 파이프라인 전반에 걸친 공동 최적화(예: 전 단계의 불확실성을 후 단계에 전달) 모델링, (3) 선택적 TTS를 다른 도메인(예: 약물 설계, 자동 논문 초안 작성)으로 확장하고, 검증 불가능한 보상 구조에서도 안정적인 성능을 유지할 수 있는 이론적 분석 등이 있다. 궁극적으로는 “검증 불가능한 보상”을 갖는 복합 개방형 작업을 대규모 연산 자원 하에서 효율적으로 탐색·정제하는 새로운 패러다임을 제시한다는 점에서 의미가 크다.