대규모 언어 모델을 활용한 스타트업 성공 예측 새로운 인컨텍스트 학습 접근법

초록

본 논문은 데이터가 극히 제한된 초기 단계 스타트업 투자 상황에서, 대규모 언어 모델(LLM)을 활용한 인컨텍스트 학습(in‑context learning) 프레임워크인 kNN‑ICL을 제안한다. kNN‑ICL은 구조화된 속성과 비정형 텍스트를 모두 고려해 목표 스타트업과 가장 유사한 과거 사례를 k‑최근접 이웃 방식으로 선택하고, 이를 프롬프트에 삽입해 LLM이 유사 사례를 통해 성공 여부를 추론하도록 한다. 실험 결과, 4,034개 스타트업 데이터를 기반으로 10·30·50개의 샷을 사용했을 때, kNN‑ICL은 기존 감독 학습 모델(균형 정확도 63.1%)과 무작위 샷을 이용한 일반 인컨텍스트 학습(69.6%)을 모두 능가해 50샷에서는 71.3%의 균형 정확도를 달성하였다. 이는 라벨이 소수인 환경에서도 LLM 기반 추론이 실용적 의사결정 도구가 될 수 있음을 보여준다.

상세 분석

본 연구는 초기 단계 스타트업 성공 예측이라는 고난이도 문제를 두 가지 관점에서 혁신적으로 접근한다. 첫째, 데이터 희소성이라는 현실적 제약을 인컨텍스트 학습이라는 ‘훈련‑불필요’ 패러다임으로 극복한다. 기존의 감독 학습은 수천~수만 건의 라벨링된 데이터가 필요하지만, VC 현장에서는 수십 건 정도만 확보되는 경우가 일반적이다. LLM은 사전 학습 단계에서 방대한 일반 지식을 축적했기 때문에, 적은 수의 예시만으로도 유사성을 기반으로 추론할 수 있다. 둘째, 인컨텍스트 예시 선택 방식을 단순 무작위에서 데이터‑구동형 k‑최근접 이웃(k‑NN) 방식으로 전환한다. 논문은 구조적 변수(설립 연도, 창업자 수 등)와 비정형 변수(기업 소개 텍스트)를 결합해 임베딩을 생성하고, 코사인 유사도 혹은 거리 기반 메트릭으로 가장 유사한 사례를 추출한다. 이렇게 선택된 사례는 ‘마이크로 트레이닝 셋’ 역할을 하여 LLM이 목표 스타트업과 직접적인 유사성을 파악하도록 돕는다.

실험 설계는 실제 크런치베이스 데이터를 사용해 4,034개의 스타트업 프로필을 구축하고, 성공(엑시트) 여부를 라벨링하였다. 10, 30, 50 샷 조건에서 kNN‑ICL을 적용했을 때, 샷 수가 증가할수록 성능이 향상되는 전형적인 ‘few‑shot’ 현상이 관찰되었다. 특히 50샷에서는 균형 정확도 71.3%를 기록했으며, 이는 동일 데이터셋에 대해 전통적인 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 감독 학습 모델이 63% 수준에 머물렀던 것보다 현저히 높은 수치이다. 또한, 무작위 샷을 사용한 일반 인컨텍스트 학습(69.6%)과도 차별화된 결과를 보였다. 이는 예시 선택이 모델 성능에 미치는 영향을 실증적으로 입증한다.

추가 분석에서는 섹터별(예: 헬스케어, 핀테크) 성능 차이를 검증했으며, 전반적으로 kNN‑ICL이 모든 도메인에서 일관된 우위를 유지했다. 민감도 분석을 통해 k값(이웃 수)과 샷 수가 성능에 미치는 영향을 탐색했으며, k=5~10, 샷 수≥30이면 성능이 안정화되는 경향을 확인했다.

이 논문의 주요 기여는 다음과 같다. (1) 데이터‑희소 환경에서도 LLM 기반 인컨텍스트 학습이 실용적임을 입증, (2) 예시 선택을 k‑NN 기반으로 자동화함으로써 프롬프트 설계의 주관성을 최소화, (3) 구조화·비정형 데이터를 통합 처리하는 프레임워크를 제시해 비즈니스 분석·운영 연구 분야에 새로운 도구를 제공한다. 향후 연구에서는 보다 정교한 임베딩 기법, 멀티모달 정보(예: 이미지, 비디오) 통합, 그리고 실제 VC 의사결정 파이프라인에의 실시간 적용 가능성을 탐색할 여지가 있다.