그룹 조건부 PAC 추론을 통한 대형 추론 모델 효율성 보장

초록

본 논문은 대형 언어 모델의 체인‑오브‑생각(Chain‑of‑Thought) 추론 비용을 줄이면서, 그룹 수준에서 정확도 손실을 확률적으로 보장하는 G‑PAC 및 C‑PAC 프레임워크를 제안한다. 알려진 그룹 구분이 있을 경우 G‑PAC, 구분이 없을 경우 클러스터링 기반 C‑PAC을 사용해 각 그룹별 위험을 ε 이하로 유지하고, 전체 모델의 연산량을 크게 절감한다. 이론적 증명과 실험을 통해 그룹 조건부 위험 제어가 가능함을 입증한다.

상세 분석

이 논문은 기존 PAC(Probably Approximately Correct) 추론이 제공하는 “전체 평균 위험 ≤ ε”라는 주변(marginal) 보장이 특정 하위 집단에서는 크게 위배될 수 있다는 문제점을 정확히 짚어낸다. 특히 의료·법률·금융 등 고위험 도메인에서는 그룹별(예: 질병 종류, 질문 난이도) 위험을 직접 제어해야 하는 요구가 강하다. 이를 해결하기 위해 저자들은 “그룹 조건부 PAC”라는 새로운 개념을 정의한다.

1. 정의와 목표
   • 입력 공간 X를 k개의 그룹 G₁,…,G_k 로 분할하고, 각 그룹에 대해 위험 R(b_f | G_j)=E