스케일러블 인터랙티브 감독으로 LLM 정렬 강화

초록

본 논문은 복잡하고 장기적인 작업을 수행하는 대형 언어 모델(LLM)의 ‘감독 격차’를 해소하기 위해, 사용자의 의도를 재귀적인 의사결정 트리로 분해하고 각 노드에서 저부하 피드백을 수집·축적하는 스케일러블 인터랙티브 감독(Scalable Interactive Oversight) 프레임워크를 제안한다. 웹 개발(‘바이브 코딩’) 과제에 적용해 비전문가가 전문가 수준의 제품 요구사항 문서(PRD)를 작성하도록 하였으며, 기존 베이스라인 대비 정렬 점수가 54 % 향상되었다. 또한, 수집된 인터랙션 신호를 강화학습 보상으로 활용해 온라인 사용자 피드백만으로 모델을 지속적으로 개선할 수 있음을 보였다.

상세 분석

이 연구는 LLM이 강력한 실행자는 되지만 인간 감독자는 지식·시간·인지적 부담으로 인해 약화되는 ‘감독 비대칭’ 문제를 명확히 정의하고, 이를 정량적 스케일러블 감독 문제로 공식화한다. 제안된 프레임워크는 사용자가 제시한 고수준 질의 q를 트리 구조 T₀로 초기화하고, 깊이 우선 탐색을 통해 각 리프 노드 vₜ에 대해 선택형·순위형 질문을 제시한다. 사용자는 ‘선호’, ‘무관심’, ‘모름’ 등 제한된 응답만 제공함으로써 인지 부하를 최소화한다. 피드백 Pₜ는 누적 선호 상태에 통합되고, 이 상태는 이후 노드의 질문 설계와 트리 업데이트에 반영되어 점진적으로 전역 의도를 정교화한다. 이러한 재귀적 선호 전파는 약한 인간 신호를 점차 강한 감독 신호로 증폭시키는 메커니즘으로, 기존의 사후 검증 기반 AI 비평·디베이트와 달리 실행 전 단계에서 의도 불일치를 차단한다. 실험에서는 ‘샌드위치 프로토콜’(non‑expert ↔ LLM ↔ expert) 하에 PRD를 평가 지표로 사용했으며, 실제 웹사이트를 기반으로 만든 37개의 테스트 케이스에서 정렬 점수(요구사항 충족 비율)가 기존 vibe‑coding 프레임워크와 자유형 다중턴 대화 방식에 비해 각각 평균 38 %·54 % 상승했다. 또한, 인터랙션 로그를 보상으로 활용한 강화학습(RL) 실험에서 모델이 질문 선택과 피드백 통합 전략을 스스로 최적화해, 동일 조건에서 비인터랙티브 베이스라인 대비 12 % 이상의 추가 정렬 향상을 달성했다. 이처럼 프레임워크는 저부하 인간 피드백을 효율적으로 수집·축적하고, 이를 학습 신호로 재활용함으로써 LLM의 장기 계획 능력과 인간의 감독 능력을 균형 있게 확장한다.