LLM‑생성 분포를 활용한 의사결정 평가

초록

LLM‑SAA라는 프레임워크를 제안해, 대형 언어 모델이 생성한 가상 데이터(분포)를 실제 의사결정(상품 assortment, 가격, 뉴스벤더) 문제에 적용하고, 결정‑중심 성능 지표(경쟁비율)를 통해 그 유용성을 검증한다. 특히 데이터가 부족한 상황에서 LLM‑SAA가 무작위 혹은 소규모 실험 데이터보다 우수함을 보이며, 전통적인 Wasserstein·Kolmogorov 거리와 같은 분포‑비의존 지표는 의사결정 품질을 오판할 수 있음을 강조한다.

상세 분석

본 논문은 “LLM‑SAA”(LLM‑Sample Average Approximation)라는 새로운 데이터 파이프라인을 정의한다. 기존 SAA는 과거 관측치를 샘플링해 경험적 분포를 만든 뒤 최적화를 수행하지만, 관측 데이터가 전무하거나 극히 적을 때는 현실적인 대안이 부족하다. 저자들은 대형 언어 모델(LLM)을 프롬프트하여 가상의 고객 행동·수요·가격 민감도 등을 시뮬레이션하고, 이를 경험적 분포 bF 로 변환한다. 핵심 질문은 “bF가 실제 분포 F와 통계적으로 가깝다면 의사결정도 좋을까?”이다. 이를 검증하기 위해 두 종류의 평가 지표를 도입한다.

1. 결정‑인식 메트릭: 각 문제별 최적 행동 a* (실제 F에 기반)와 LLM‑SAA가 제안한 행동 â ( bF에 기반) 사이의 경쟁비율 Cθ(F,bF) 를 정의한다. 보상 함수가 양수인 경우 C = R(â)/R(a*) 이며, 음수(손실)인 경우 C = R(a*)/R(â) 이다. 이 비율은 0~1 사이이며 1에 가까울수록 LLM‑SAA가 최적에 근접함을 의미한다. 두 차원의 평균‑경쟁비율(AvgCR)과 최악‑경우 경쟁비율(WorstCR)을 각각 파라미터 θ 공간에 대해 계산한다. 특히 WorstCR은 “adversarial” 파라미터 선택을 허용해, LLM‑SAA가 우연히 좋은 결정을 내리는 것이 아니라 구조적으로 견고한지를 평가한다. 논문은 assortment, pricing, newsvendor 세 문제에 대해 수학적으로 WorstCR을 구하는 최적화 모델을 제시하고, 이를 통해 LLM‑SAA의 실제 의사결정 품질을 정량화한다.

2. 결정‑비인식 메트릭: 전통적인 Wasserstein 거리와 Kolmogorov‑Smirnov 통계량을 사용해 bF와 F의 차이를 측정한다. 실험 결과, 이러한 거리들은 LLM‑SAA가 높은 경쟁비율을 달성했음에도 불구하고 큰 값으로 나타나는 경우가 빈번했다. 즉, 분포 자체가 다소 차이가 나더라도 의사결정에 핵심적인 특징(예: 구매 확률이 급격히 감소하는 가격 구간)만 정확히 포착하면 충분하다는 점을 시사한다.

프롬프트 설계와 베이스라인: 저자들은 네 가지 LLM 생성 방식(샘플링, 페르소나‑샘플링, 배치‑생성, 서술형)과 두 가지 정보 제공 수준(few‑shot 예시 포함 여부)을 실험한다. 베이스라인으로는 (i) 균등 무작위 분포, (ii) 실제 데이터에서 추출한 d 샘플, (iii) assortment 문제에서 아이템별 점수 부여 방식 등을 사용한다.

주요 실험 결과:

• Low‑data 상황(예: d =510)에서 LLM‑SAA는 평균 경쟁비율 0.850.92를 기록, 무작위 베이스라인(≈0.5)과 실험 데이터(≈0.78)보다 현저히 우수했다.
• 페르소나‑샘플링이 특히 pricing 문제에서 좋은 성능을 보였으며, 이는 “고소득·저소득” 페르소나를 명시적으로 제시함으로써 WTP 분포의 양끝을 잘 포착했기 때문이다.
• 배치‑생성은 샘플링 대비 계산 효율이 높지만, 분포의 다양성이 감소해 경쟁비율이 약간 낮았다.
• WorstCR 분석에서 LLM‑SAA는 대부분의 파라미터 조합에 대해 0.7 이상을 유지, 특히 cost c 가 변할 때도 가격 최적화가 크게 흔들리지 않았다. 이는 LLM이 “구매 확률이 급격히 떨어지는 가격 구간”을 정확히 학습했기 때문이다.

의의와 한계:

• LLM‑SAA는 데이터가 전무한 신규 제품·시장 진입 시점에 실용적인 의사결정 도구가 될 수 있다.
• 그러나 LLM이 생성한 개별 샘플은 실제 고객 행동과 일치하지 않을 수 있으며, 페르소나 설계가 편향될 위험이 있다.
• 현재는 GPT‑4 수준의 대형 모델에 의존하고 있어 비용·프라이버시 문제가 남아 있다.
• WorstCR을 구하는 최적화는 문제마다 특수한 구조적 가정이 필요해 일반화가 어려울 수 있다.

전반적으로 논문은 “분포‑정밀도보다 결정‑정밀도가 더 중요하다”는 새로운 평가 패러다임을 제시하고, LLM을 데이터 생성원으로 활용하는 실용적 방법론을 수학적으로 검증했다.