LLM이 전략적 예측을 앞선다: 킥스타터 벤처 토너먼트 실증

초록

본 연구는 30개의 미국 기술 스타트업을 대상으로 실시간 킥스타터 펀딩 결과를 예측하는 전향적 토너먼트를 설계했다. 인간 매니저(346명)와 MBA 투자자(3명)의 예측을 최신 대형 언어 모델(Gemini 2.5 Pro 등)과 비교했으며, LLM이 0.74의 순위 상관계수(79% 정확도)로 인간(0.04‑0.45)보다 현저히 우수함을 입증했다.

상세 분석

이 논문은 전략적 예측이라는 고불확실성 영역에서 인공지능이 인간을 능가할 수 있음을 실증적으로 보여준다. 연구 설계는 ‘전향적’이라는 핵심 원칙을 고수했는데, 이는 모델과 인간 모두가 사전 정보만을 이용해 예측을 수행하고, 실제 결과는 예측 이후에 확정되는 구조다. 이렇게 함으로써 데이터 누수와 사후 편향을 원천 차단했다는 점이 큰 강점이다.

샘플링된 30개의 킥스타터 프로젝트는 모두 훈련 컷오프 이후에 시작된 최신 기술 벤처이며, 펀딩 규모는 수천 달러에서 수백만 달러까지 다양했다. 연구팀은 각 프로젝트를 서로 쌍(pairwise)으로 비교하도록 870개의 비교 과제를 생성했으며, 이는 ‘이중 라운드 로빈’ 방식으로 진행돼 순위 추정의 안정성을 높였다. LLM은 프롬프트 엔지니어링과 체인‑오브‑사고(Chain‑of‑Thought) 기법을 활용해 각 쌍에 대한 승패 확률을 산출했고, 토너먼트 점수화 방식을 통해 전체 순위를 도출했다.

인간 그룹은 Prolific을 통해 모집된 현업 매니저와, 제한된 시간·도구 없이 순위만을 작성한 MBA 투자자 두 파트로 나뉘었다. 특히 매니저 그룹은 346명이라는 대규모 샘플을 확보했음에도 불구하고 평균 순위 상관계수는 0.28에 머물렀다. 이는 전략적 판단이 인간의 인지적 한계(제한된 처리 용량, 편향, 정보 과부하)에 크게 좌우된다는 기존 문헌과 일치한다.

모델 성능을 평가한 주요 지표는 스피어만 순위 상관계수와 정확히 맞춘 쌍 비율(Accuracy@Pair)이다. Gemini 2.5 Pro는 0.74의 상관계수와 79%의 쌍 정확도를 기록했으며, GPT‑5‑Turbo와 Claude 4.5도 0.62‑0.66 수준으로 인간을 크게 앞섰다. 통계적 검정(부트스트랩 신뢰구간, 퍼뮤테이션 테스트)에서 LLM‑인간 차이는 p < 0.001로 유의미했다.

흥미로운 점은 ‘군중 지혜’(wisdom‑of‑the‑crowd)와 인간‑AI 하이브리드 팀을 구성해도 최고 LLM을 능가하지 못했다는 것이다. 이는 개별 모델이 이미 최적의 정보 통합을 수행하고 있음을 시사한다. 또한, 모델 성능을 AI 벤치마크(예: MMLU, BIG‑Bench)와 회귀 분석한 결과, 고차원 추론 능력과 대규모 파라미터 수가 예측 정확도와 강한 양의 상관관계를 보였다.

한계점으로는 샘플 규모가 30개에 불과해 외부 타당성(외부 일반화)이 제한적이며, 킥스타터라는 특정 플랫폼에 국한된다는 점이다. 또한, LLM이 사용한 프롬프트와 온도 파라미터 등 하이퍼파라미터가 공개되지 않아 재현 가능성에 약간의 의문이 남는다. 마지막으로, 인간 평가자는 ‘제한된 시간·도구’ 조건에서 수행했는데, 실제 투자 현장에서는 추가 데이터와 협업이 가능하므로 성과 차이가 축소될 가능성도 있다.

전반적으로 이 논문은 전략적 예측이라는 복합적, 비정형 문제에 LLM이 인간을 뛰어넘는 첫 번째 실증 증거를 제공한다. 이는 전략·경영 분야에서 AI 보조 의사결정 도구의 설계와 도입을 재고하게 만들며, 향후 연구는 더 다양한 산업·시장, 장기적 성과, 그리고 인간‑AI 협업 메커니즘을 탐구해야 할 필요성을 제시한다.