스케일러블 델파이 대형 언어 모델 위험 추정

초록

본 논문은 전통적인 델파이 기법을 대형 언어 모델(LLM)로 대체하는 “스케일러블 델파이” 방법을 제안한다. 다양한 전문가 페르소나와 반복적 피드백, 근거 공유를 통해 LLM 패널이 구조화된 위험 추정값을 생성하도록 설계하였다. 평가 프레임워크는 검증 가능한 프록시와 증거 민감도, 인간 전문가와의 정렬성을 핵심 조건으로 삼으며, AI‑augmented 사이버보안 위험을 사례로 사용해 세 가지 벤치마크에서 높은 상관관계(r=0.87‑0.95)와 증거 추가 시 점진적 개선을 입증한다. 결과적으로 전통적 델파이의 수개월 소요를 몇 분으로 단축할 수 있음을 보여준다.

상세 분석

본 연구는 위험 모델링에서 관측 불가능한 확률량을 추정하기 위해 전통적으로 사용되는 델파이 기법의 비용·시간 문제를 LLM으로 해결하고자 한다. 핵심 아이디어는 “전문가 페르소나”를 시스템 프롬프트에 명시해 서로 다른 배경·전문성을 가진 가상의 전문가들을 다수 생성하고, 동일한 증거(E)를 제공한 뒤 독립적인 추정값과 근거를 얻는 것이다. 이후 메디에이터 역할의 프롬프트가 각 라운드의 추정값을 요약·집계하고, 이를 다음 라운드에 피드백으로 제공한다. 이렇게 반복된 라운드(R) 후에는 단순 평균(선형 의견 풀)으로 최종 확률을 산출한다.

평가 설계는 두 가지 ‘필수 조건’에 초점을 맞춘다. 첫째, 검증 가능한 프록시(예: 사이버벤치마크의 실제 성공률)와의 캘리브레이션을 Pearson·Spearman 상관계수와 MAE로 측정한다. 둘째, 증거 민감도를 검증하기 위해 증거를 단계적으로 추가·제거하면서 추정값이 기대하는 방향으로 변하는지를 확인한다. 이러한 정량적 검증 외에도 인간 전문가 패널과의 정렬성을 비교한다. 인간 패널 간 평균 절대 차이가 16.6%인 상황에서 LLM 패널은 인간 패널과의 차이가 5.0%에 불과해, 인간 판단과 높은 일치도를 보였다.

실험에 사용된 두 모델은 최신 GPT‑5.1과 Claude Opus 4.1이며, 각각의 지식 컷오프를 고려해 벤치마크 데이터와의 잠재적 오염을 최소화했다. 특히 Cybench은 모델 학습 이전에 공개된 데이터라 오염 위험이 낮아, 증거에 기반한 추론 능력을 더 명확히 드러냈다. 결과는 세 벤치마크 모두에서 r = 0.87‑0.95라는 높은 상관관계를 기록했으며, 라운드가 진행될수록 추정값이 점진적으로 개선되는 증거 민감도도 확인되었다.

이 논문의 주요 기여는 (1) LLM 기반 델파이 프로토콜 설계, (2) 검증 불가능한 양에 대한 평가 프레임워크 제시, (3) 실증적 결과를 통해 LLM이 인간 전문가와 동등하거나 더 나은 일관성을 제공함을 입증한 점이다. 또한 LLM은 무한히 반복 가능한 추론, 증거 교란 실험, 가치‑정보 분석 등 전통적 인간 패널이 수행하기 어려운 메타‑분석을 가능하게 하여 위험 모델링의 동적 업데이트와 스트레스 테스트를 지원한다. 다만, 모델의 ‘자신감 과잉’ 문제와 프롬프트 설계에 따른 편향 위험은 여전히 남아 있어, 향후 연구에서는 사후 검증 메커니즘과 페르소나 다양성 보강이 필요하다.