AI 기반 설문 측정 혁신: 공무원 연금 선택 사례

초록

본 논문은 대형 언어 모델(LLM)을 활용해 설문 문항을 잠재적 경제·행동 구성요소에 자동 매핑하고, 이를 반복적 검증 절차와 결합해 측정 타당성을 강화하는 프레임워크를 제시한다. 공공 부문 연금 선택 설문에 적용해 ‘신념·제약·지식·선호’ 등 세부 차원을 도출하고, 외부 검증을 통해 실제 연금 전환 의사와 기여율 요구에 대한 예측력을 향상시켰다.

상세 분석

이 연구는 설문 조사라는 전통적 데이터 수집 도구에 최신 AI 기술을 접목함으로써 측정 과학의 두 가지 핵심 문제, 즉 **구성요소 오염(construct contamination)**과 측정 타당성 검증을 동시에 해결한다. 먼저, 연구자는 설문 문항 텍스트를 LLM에 입력해 “소프트 매핑(soft mapping)”이라 부르는 희소 가중치 행렬 W를 생성한다. 이 행렬은 각 문항이 여러 잠재 차원에 동시에 할당될 수 있도록 하여, 기존의 일대일 매핑이 초래하는 경직성을 완화한다.

다음 단계에서는 응답값 xᵢⱼ와 가중치 W를 곱해 응답자‑차원 점수 Sᵢₖ를 산출한다. 여기서 중요한 점은 반복적 검증 루프이다. 연구진은 제안된 차원별 점수가 연금 선택(가상 전환 수용 여부) 및 요구 기여율(필요 최소 기여율) 예측에 미치는 **증분 유효성(incremental validity)**을 교차 검증(out‑of‑sample) 방식으로 평가한다. 만약 특정 차원이 예측 성능을 유의하게 향상시키지 못하거나, 다른 차원과 높은 상관관계를 보여 **구성 중복(overlap)**을 나타내면, 자동화된 “재정제 연산자”가 taxonomy을 수정하거나 가중치 제약을 강화한다. 이러한 과정을 반복하면서 증분 성과가 정체될 때까지 진행한다.

실증 결과는 두드러진 몇 가지 시사점을 제공한다. 첫째, **근속 연수·경력 단계(lock‑in)**와 관련된 차원이 연금 전환 의사와 기여율 요구를 가장 강하게 설명한다는 점이다. 이는 기존 연구가 제시한 ‘경력‑기반 제약’ 가설을 데이터 기반으로 재확인한다. 둘째, 재무 문해력(financial literacy) 차원은 전환 의사 예측에 의미 있는 기여를 하지만, 기여율 요구 예측에는 거의 영향을 미치지 않는다. 이는 문해력이 행동 의사결정에는 작용하지만, 실제 재정적 부담을 평가하는 데는 제한적이라는 경제학적 해석을 가능하게 한다. 셋째, 문해력과 연금 관대성(perceived generosity) 사이에 높은 상관관계가 발견되어, 초기 taxonomy에서는 두 개념이 혼합된 구성 오염이 존재함을 확인한다. 연구진은 이를 분리해 ‘객관적 지식’과 ‘주관적 가치 인식’으로 재구성함으로써 **판별 타당성(discriminant validity)**을 크게 개선한다.

이 프레임워크는 **측정의 이식성(portability)**도 강조한다. 설문 문항 자체가 데이터이므로, 동일하거나 유사한 문항이 포함된 다른 조사에서도 동일한 W 행렬을 적용할 수 있다. 따라서 새로운 데이터셋에 대해 별도의 재학습 없이도 검증된 차원 점수를 바로 활용할 수 있다. 또한, LLM‑기반 텍스트 분석을 투명하고 감사 가능한(auditable) 방식으로 구현했으며, 모든 매핑 과정과 검증 결과를 로그로 남겨 재현성을 확보한다.

이러한 접근은 전통적인 설문 설계와 심리측정학이 직면한 ‘과적합(over‑fitting)’ 위험을 AI가 자동으로 탐지하고 차단하도록 만든다. 즉, **측정 유연성(flexibility)**은 외부 예측 성과가 입증될 때만 허용되며, 그렇지 않은 경우 자동으로 제한된다. 이는 경제학 연구에서 흔히 발생하는 ‘측정 도구를 무조건 확대’하는 오류를 방지하고, 정책 설계 시 실제 행동 메커니즘에 기반한 정밀한 변수를 제공한다는 점에서 큰 의미를 가진다.