다중 예측 시각화의 부분 집계가 판단에 미치는 영향 분석

초록

본 연구는 다중 예측을 시각화할 때 부분 집계 방식을 도입한 세 가지 디자인을 제안하고, 코로나19 예측 데이터를 활용한 두 차례 대규모 온라인 실험을 통해 14가지 판단 지표(예측 정확도, 신뢰도, 놀람, 인지 노력 등)를 평가하였다. 결과는 부분 집계가 전혀 집계하지 않은 MFV와 완전 집계인 신뢰구간(CI) 사이에서 판단 성과에 차별적인 영향을 미치며, 특히 ‘Horizon Sampled MFV’가 미래 추세 예측 정확도와 놀람 감소에 가장 효과적임을 보여준다. 설계 목표와 사전 모델 지식에 따라 적절한 시각화 방식을 선택하도록 권고한다.

상세 분석

이 논문은 불확실성 하에서 미래 사건에 대한 판단을 지원하기 위해 다중 예측(Multiple Forecasts, MF)을 어떻게 시각화할 것인가에 대한 구체적인 설계·평가 프레임워크를 제공한다. 기존 연구가 ‘전혀 집계하지 않은 개별 예측’과 ‘전체를 요약한 신뢰구간(CI)’이라는 두 극단만을 비교해 왔던 반면, 저자들은 중간 단계인 부분 집계 디자인을 세 가지 제안한다. 첫 번째인 Horizon Sampled MFV는 DBSCAN 군집화를 이용해 예측 지평선(가장 먼 시점)에서 8개의 클러스터를 만든 뒤, 각 클러스터를 대표하는 하나의 예측선을 선택해 6~9개의 라인만을 표시한다. 이는 과도한 오버플롯을 방지하면서도 예측군의 형태와 분포를 유지한다는 장점이 있다. 두 번째인 Base Progressively Sampled MFV는 모든 시점에서 DBSCAN을 적용해 클러스터를 형성하고, 클러스터 간 전이를 선형 연결로 나타내어 ‘궤적(trajectory)’ 기반 집계를 구현한다. 세 번째인 Frequency‑mapped Progressively Sampled MFV는 앞선 디자인에 투명도와 색상 농도를 추가해 각 클러스터와 전이의 빈도를 시각적으로 강조한다.

실험 설계는 코로나19 Forecast Hub 데이터를 실제 예측·관측값으로 활용했으며, 14개의 판단 관련 지표를 선정했다. 성능 지표는 절대 오차와 범위 선택을 포함하고, 주관적 지표는 신뢰도, 놀람, 인지 노력 등을 다중 항목 설문으로 측정했다. 실험 1(n=695)과 실험 2(n=389) 모두 동일한 시각화 집합을 무작위로 제시하고, 참가자들은 미래 시점에 대한 예측을 입력한 뒤 실제 결과를 확인한다.

주요 결과는 다음과 같다. (1) Horizon Sampled MFV는 예측 정확도와 놀람 감소 측면에서 가장 우수했으며, 이는 제한된 수의 대표 예측이 사용자의 인지 부하를 낮추면서도 핵심 트렌드를 전달하기 때문이다. (2) 완전 집계인 CI 플롯은 신뢰도 점수가 가장 높았으며, 사용자는 요약된 구간이 ‘전문가 의견의 집합’이라는 인식을 강화한다는 점이 확인되었다. (3) Base 및 Frequency‑mapped Progressively Sampled MFV는 중간 정도의 성능을 보였는데, 특히 클러스터 빈도 시각화가 인지 노력 감소에 기여했지만, 과도한 시각적 복잡성으로 인해 일부 사용자는 혼란을 겪었다. (4) Violin 및 Density 플롯은 통계적 분포를 제공하지만 시계열 연속성을 전달하는 데 한계가 있어, 시간에 따른 추세 파악이 필요한 상황에서는 낮은 점수를 받았다.

이러한 결과를 바탕으로 저자들은 ‘목표 지향적 디자인’ 원칙을 제시한다. 예를 들어, 정책 입안자가 미래 시나리오를 정확히 예측하고 싶을 때는 Horizon Sampled MFV를, 일반 대중에게 모델에 대한 신뢰를 심어주고 싶을 때는 CI 플롯을, 전문가 간 비교·협업을 지원하고 싶을 때는 Progressively Sampled 디자인을 선택하도록 권고한다. 또한, 사전 모델 정확도(incertitude)에 대한 정보가 충분할 경우 더 높은 집계 수준을, 불확실성이 크고 다양한 시나리오를 강조하고 싶을 경우 낮은 집계 수준을 적용하는 것이 바람직하다고 제안한다.

전반적으로 이 논문은 ‘부분 집계’라는 새로운 차원을 도입함으로써 다중 예측 시각화 설계에 실용적인 가이드라인을 제공하고, 다양한 판단 지표를 포괄적으로 평가한 방법론적 강점을 갖는다. 향후 연구에서는 다른 도메인(기후, 금융 등)과 인터랙티브 요소를 결합한 확장 연구가 기대된다.