조건부 PAC 효율성은 대형 언어 모델에서 불가능하다

초록

**
우리는 대형 언어 모델에서 조건부 가능성(Probably Approximately Correct, PAC) 효율적인 추론이 불가능함을 증명한다. 최근 연구에서는 비용이 많이 드는 전문가 모델과 저비용의 빠른 모델을 전환하는 복합 모델에 대해 주변(PAC) 효율성 보장을 제공했지만, 우리는 분포에 구애받지 않는 설정에서 조건부(점별) 보장은 성립하지 않음을 보인다. 구체적으로, 입력 공간이 비원자(non‑atomic)인 경우, 조건부 PAC 효율성을 달성하는 어떠한 알고리즘도 거의 모든 입력에 대해 전문가 모델에 의존하는 확률이 최소 1‑α 이상이 되는, 즉 실질적으로는 전문가 모델에 전적으로 의존하는 트리비얼한 형태밖에 존재하지 않는다.

**

상세 요약

**
이 논문은 최근 인공지능 커뮤니티에서 활발히 논의되고 있는 “대형 언어 모델(LLM)의 효율적인 추론” 문제에 대해 이론적인 한계를 제시한다. 기존 연구들은 마진(PAC) 효율성을 보장하는 방법을 제시했는데, 이는 전체 입력 분포에 대해 평균적으로 비용이 낮은 모델이 충분히 정확히 동작하도록 설계된 것이다. 이러한 접근법은 “전문가 모델(Expensive Expert Model)”과 “빠른 모델(Fast Model)”을 교체(switch)하는 복합 구조를 활용한다. 예를 들어, 입력이 복잡하거나 불확실성이 높을 때는 비용이 큰 전문가 모델을 호출하고, 그렇지 않은 경우는 저비용 모델을 사용한다는 식이다. 이때 마진 보장은 전체 데이터셋에 대한 평균적인 성공률을 의미한다.

하지만 실제 서비스 환경에서는 조건부(점별) 보장이 더 중요할 수 있다. 즉, 특정 입력에 대해 “이때는 반드시 전문가 모델을 사용해야 한다”는 식의 점별 확률적 보장을 요구한다. 논문은 이러한 조건부 PAC 효율성을 분포 자유(distribution‑free) 설정에서 탐구한다. 여기서 “분포 자유”란 입력이 어떠한 확률분포를 따르든 결과가 동일하게 적용된다는 의미이며, 이는 가장 강력한 일반화 가정을 의미한다.

핵심 정리는 다음과 같다. 입력 공간이 비원자(non‑atomic)—즉, 어떤 단일 점도 양의 확률 질량을 갖지 않는 연속적인 공간—일 때, 조건부 PAC 효율성을 만족하는 알고리즘은 거의 모든 입력에 대해 전문가 모델을 선택할 확률이 최소 1‑α가 되어야 한다. 여기서 α는 허용되는 오류 한계이다. 이 결과는 “조건부 효율적인 알고리즘”이 존재한다면, 실제로는 전문가 모델에 거의 전적으로 의존하는 트리비얼한 형태밖에 없다는 것을 의미한다. 즉, 입력에 따라 저비용 모델을 활용하려는 시도는 이론적으로 불가능하다는 강력한 부정 결과가 도출된다.

이 부정 결과는 몇 가지 중요한 함의를 가진다. 첫째, 조건부 효율성을 목표로 하는 설계는 근본적으로 제한적이며, 실제 시스템에서는 평균적인 마진 보장을 목표로 해야 한다는 점이다. 둘째, 비원자 입력 공간은 대부분의 자연어 처리(NLP) 문제에서 가정되는 현실적인 상황이다. 텍스트는 연속적인 의미 공간에 매핑되며, 개별 문장이나 토큰이 양의 확률 질량을 갖는 경우는 드물다. 따라서 이 논문의 결과는 현재 LLM 기반 서비스가 조건부 비용 절감 전략을 적용하려 할 때 직면하는 근본적인 한계를 설명한다. 셋째, 연구는 조건부 PAC 효율성을 달성하려면 분포에 대한 강한 사전 지식이 필요함을 시사한다. 만약 입력 분포가 알려져 있거나 제한된 경우(예: 특정 도메인에 한정된 데이터)에는 조건부 보장이 가능할 여지가 있다. 하지만 일반적인 오픈‑도메인 상황에서는 불가능하다는 결론이다.

마지막으로, 이론적 불가능성을 실제 시스템 설계에 어떻게 반영할 것인가가 앞으로의 과제이다. 연구자들은 마진 보장을 강화하면서도 실시간 비용을 최소화하는 새로운 메커니즘—예를 들어, 사전 학습된 메타‑모델이 입력의 불확실성을 추정하고, 그 추정값에 따라 동적으로 예산을 할당하는 방식—을 탐색해야 할 것이다. 또한, 조건부 보장을 포기하고 평균적인 효율성을 목표로 하는 설계가 실제 서비스 품질과 비용 효율성 사이의 최적 균형을 제공할 가능성이 높다.

**