크라우드 기반 다중 결측값 보정

본 논문은 “CrowdMI: Multiple Imputation via Crowdsourcing”이라는 제목으로, 결측 데이터 보정 분야에 인간 군중(crowd)이라는 새로운 자원을 도입한다. 기존의 다중 임퓨테이션(Multiple Imputation, MI)은 통계 모델이나 머신러닝 알고리즘을 이용해 결측값을 여러 번 추정하고, 그 변동성을 통해 추정 오차를 반영한다. 그러나 이러한 방법은 학습 데이터의 양·품질, 결측 패턴, 모델 선택 등에 따라 성능이 크게 좌우되며, 특히 복잡한 비선형 관계나 도메인 지식이 필요한 경우 한계가 있다. CrowdMI는 이러한 한계를 보완하고자, 결측 레코드를 설문지 형태로 변환해 크라우드소싱 플랫폼에 배포한다. 구체적인 흐름은 다음과 같다. 첫째, 원본 데이터셋에서 결측이 있는 행을 추출한다. 둘째, 데이터셋 전체에 대한 간단한 설명(예: 평균·분산, 변수 간 상관관계)과 시각적 자료(히스토그램, 산점도)를 포함한 설문지를 만든다. 셋째, 각 결측 행마다 “이 레코드의 결측값은 무엇이라고 생각하십니까?”라는 질문을 제시하고, 이를 k명의 서로 다른 워커에게 동시에 배포한다. 여기서 k는 전통적인 MI에서 요구되는 임퓨테이션 수와 동일하게 5~10 정도로 설정한다. 넷째, 워커들의 답변을 각각 하나의 완전 데이터셋으로 간주하고, 기존 MI와 동일하게 분석 후 Rubin’s Rules 등을 이용해 최종 추정값과 불확실성을 계산한다. 설문지 설계에 있어 저자는 네 가지 원칙을 강조한다. (1) 질문 수를 10개 이하로 제한해 피로도를 최소화한다. (2) 전문 용어를 배제하고 일상 언어로 설명한다. (3) 변수 분포를 시각화해 직관적 이해를 돕는다. (4) 깔끔한 레이아웃과 색상 사용을 최소화해 집중도를 높인다. 이러한 설계는 비전문가인 크라우드워커가 복잡한 데이터 구조를 빠르게 파악하고 합리적인 추정을 할 수 있게 만든다. 실험은 세 개의 데이터셋을 대상으로 수행되었다. 첫 번째는 FEV(강제 호기량)와 흡연 여부를 포함한 임상 데이터로, 연령(연속형)과 성별(이진형) 두 변수에 결측을 인위적으로 삽입했다. 두 번째는 Pima 인디언 여성의 당뇨 데이터로, 8개의 연속형 변수와 1개의 이진형 변수(당뇨 여부)를 포함한다. 세 번째는 Galton의 키 데이터로, 부모 키와 자녀 키 사이의 관계를 이용해 키 결측을 보정했다. 각 데이터셋에 대해 CrowdMI는 동일한 결측 상황에서 MICE, MissForest, Bayesian 회귀 등 최신 기계 기반 임퓨테이션 방법과 비교되었다. 평가 지표는 평균 제곱오차(RMSE), 정확도(분류 경우), 그리고 임퓨테이션 간 변동성(분산)이다. 결과는 다음과 같다. (1) 정성적 변수(성별, 흡연 여부)에서는 인간이 직관적으로 높은 정확도를 보였으며, 평균 정확도가 92% 이상으로 기계 모델과 동등하거나 약간 우수했다. (2) 정량적 변수(연령, 키, 혈당 등)에서는 사전 제공된 시각적 힌트가 인간의 추정 정확도를 크게 향상시켰으며, RMSE가 기계 모델 대비 5~10% 낮았다. (3) 다중 임퓨테이션을 위한 k값이 5~10 사이일 때, 인간 응답의 변동성이 통계적 기대치와 일치했으며, Rubin’s Rules에 따라 결합된 최종 추정값의 신뢰구간이 실제 값과 겹치는 비율이 85% 이상이었다. 또한, 사전 정보량에 따른 민감도 분석을 수행했다. 설문에 통계 요약만 제공했을 때와 그래프까지 포함했을 때를 비교했으며, 그래프를 포함한 경우 평균 오차가 7% 감소했지만, 응답 시간과 비용이 약 15% 증가했다. 이는 설문 설계 시 ‘필수 정보와 과잉 정보’ 사이의 균형을 찾아야 함을 시사한다. 논문의 한계도 명확히 제시된다. 첫째, 크라우드워커의 배경지식 차이에 따라 편향이 발생할 수 있다. 둘째, 대규모 고차원 데이터셋에서는 설문지당 질문 수 제한으로 인해 전체 변수를 한 번에 제공하기 어려워 비용이 급증한다. 셋째, 민감한 의료 데이터에 대한 프라이버시와 윤리적 문제(데이터 익명화, 보상 체계 등)가 남아 있다. 저자는 향후 연구 방향으로 (1) 도메인 전문가와 일반 군중을 혼합한 하이브리드 임퓨테이션, (2) 활성학습(active learning)과 연계해 가장 불확실한 결측에만 인간을 투입하는 비용 최소화 전략, (3) 프라이버시 보호를 위한 차등 프라이버시(differential privacy) 기법 적용 등을 제시한다. 결론적으로, CrowdMI는 인간의 직관과 추론 능력을 통계적 다중 임퓨테이션에 효과적으로 통합한 새로운 패러다임을 제시한다. 특히 데이터 설명이 어려운 상황이나 기존 모델이 과적합·편향 위험이 높은 경우, 인간 군중을 활용한 보정이 실용적인 대안이 될 수 있음을 실험적으로 입증하였다.