동적 질문 순서 지정으로 설문 참여와 데이터 품질 향상

본 논문은 온라인 설문 조사에서 질문 순서를 응답자의 이전 답변에 따라 동적으로 결정하는 ‘동적 질문 순서 지정(Dynamic Question Ordering, DQO)’ 프레임워크를 제안한다. 설문 응답률이 지속적으로 하락하고, 전통적인 고정 순서 설문이 응답자 피로와 이탈을 초래한다는 배경에서 출발한다. 기존 연구에서는 규칙 기반의 적응형 질문을 제시했지만, 이는 모든 응답자에게 동일한 흐름을 적용해 개인 차이를 반영하지 못한다. 저자들은 이를 보완하기 위해 질문 순서를 개인화하고, 두 가지 주요 목표 시나리오에 맞춰 최적화한다. 첫 번째 시나리오는 전통적인 설문 조사에서 전체 응답률을 높이고, 결측값 보정을 위한 데이터 품질을 향상시키는 것이다. 여기서는 질문 순서를 ‘응답자 참여도’를 촉진하는 방향으로 설계한다. 초기에는 응답자가 흥미를 느끼거나 답변하기 쉬운 질문을 제시해 설문 시작 단계에서 몰입을 유도하고, 이후에 더 복잡하거나 비용이 높은 질문을 배치한다. 이렇게 하면 응답자가 설문을 중단할 가능성이 낮아져 전체 완성률이 상승한다. 두 번째 시나리오는 사용자가 개인화된 예측 결과(예: 에너지 소비량)를 얻는 것을 목표로 한다. 이 경우 전체 설문을 완성할 필요가 없으며, 질문 순서는 ‘예측 불확실성 감소’와 ‘질문 비용 최소화’ 사이의 트레이드오프를 고려한다. 현재까지 수집된 답변으로 가장 큰 정보 이득을 제공하는 질문을 선택하고, 불필요한 질문은 생략한다. 이를 통해 최소한의 질문으로도 높은 예측 정확도와 낮은 불확실성을 달성한다. 방법론적으로 저자들은 마코프 결정 과정(MDP)과 정보 이득(information gain) 기반 선택 기준을 활용한다. 각 질문은 ‘비용’(응답자가 답변하는 데 드는 시간·노력)과 ‘가치’(예측 모델의 불확실성을 감소시키는 정도)로 정량화된다. 정책은 기대 보상(가치 대비 비용)을 최대화하도록 학습되며, 이는 기존의 적응형 테스트(IRT 기반)와 유사하지만 설문 조사라는 특수한 도메인에 맞게 변형되었다. 실증 연구에서는 미국 주거 에너지 소비 조사(RECS) 데이터를 이용해 ‘예비 세입자에게 맞춤형 에너지 소비 추정치를 제공’하는 사례를 제시한다. 훈련 단계에서 모든 특성을 사용해 회귀 모델을 구축하고, 비용이 높은 특성(예: 창문 수, 난방 방식 등)을 선택적 비용 변수로 지정한다. 테스트 단계에서는 무료로 얻을 수 있는 특성(주택 면적, 거주 인원 등)만으로 시작해, MDP 기반 정책에 따라 가장 정보량이 큰 비용 질문을 순차적으로 제시한다. 실험 결과, 최초 10개의 질문만으로도 고정 순서 설문과 동등한 평균 절대 오차(MAE)를 달성했으며, 예측 불확실성(예측 구간 폭)도 현저히 감소했다. 또한 논문은 DQO를 국가 규모 설문(예: 인구 조사, 건강 조사)에도 확장 가능하다고 주장한다. 여기서는 ‘단계 용량(phase capacity)’ 개념을 차용해, 특정 응답자에 대해 충분히 안정적인 추정이 이루어졌을 때 추가 질문을 중단할 수 있다. 이는 설문 비용을 크게 절감하면서도 통계적 타당성을 유지하는 방안으로 제시된다. 인지 설문 방법론(CASM)과의 연계성도 논의한다. CASM은 질문 순서가 고정될 경우 응답자의 인지 부하를 증가시켜 정확한 답변을 방해한다는 점을 지적한다. DQO는 질문 순서를 유연하게 조정함으로써 인지 부하를 최소화하고, 응답자가 더 정확하고 신뢰할 수 있는 정보를 제공하도록 돕는다. 결론적으로, 이 논문은 통계적 모델링, 기계 학습, 인지 심리학을 융합해 설문 설계의 새로운 패러다임을 제시한다. DQO는 응답자 맞춤형 인터페이스를 구현함으로써 설문 참여를 촉진하고, 데이터 품질을 향상시키며, 비용 효율적인 예측 서비스를 제공한다는 점에서 학문적·실무적 의의가 크다. 향후 연구에서는 다양한 도메인에 대한 적용 사례 확대, 실시간 인터페이스 구현, 그리고 윤리적·프라이버시 고려사항을 포함한 종합적인 프레임워크 개발이 필요하다.