소매 데이터에서 인과 추론과 모델 설명 가능성을 결합한 실용 가이드

초록

본 논문은 소매업의 매출 예측에 SHAP 기반 모델 해석과 Double Machine Learning(DML) 기반 인과 추론을 적용한 사례를 제시한다. 트리 기반 블랙박스 모델과 내재적 해석 가능 모델(Explainable Boosting Regressor)을 비교한 결과, 후자는 SHAP 값의 분산이 낮아 해석 안정성이 높지만 예측 정확도는 다소 떨어진다. 또한, 다중 교란 변수들을 DML에 포함시킴으로써 변수 간 상호작용을 제어하고, 주요 변수(F6)의 인과 효과 부호를 올바르게 도출한다.

상세 분석

이 연구는 소매업에서 수집되는 다차원 KPI 데이터를 대상으로, 예측 정확도와 해석 가능성 사이의 전형적인 트레이드오프를 실증적으로 검증한다. 먼저 64개의 원시 변수를 상관계수 0.3 이상인 변수들을 재귀적으로 제거해 7개의 대표 피처(F1~F7)와 매출(Y)로 축소하였다. 모델링 단계에서는 XGBoost, Random Forest, 그리고 Explainable Boosting Regressor(EBR) 세 가지 트리 기반 회귀기를 사용했으며, 하이퍼파라미터 최적화를 통해 각각의 평균 스케일 절대 오차(MSAE)를 산출했다. XGBoost가 가장 낮은 MSAE(0.106)를 기록했지만, EBR은 0.211로 다소 높은 오류를 보였다. 흥미로운 점은 SHAP 값의 분산이 EBR에서 가장 낮았다는 것이다. 이는 모델 자체가 선형·가법적 구조를 갖고 있어 각 피처 기여도가 보다 일관되게 추정되기 때문으로 해석된다.

다음으로 인과 추론 파트를 살펴보면, 저자들은 단순 SHAP 해석이 교란 변수(confounder)를 통제하지 못한다는 한계를 지적한다. 특히 F5(부정적 고객 인식)와 F6(판매자 응답성 부족) 사이, 그리고 이들와 F2(성과 저조 제품), F4(품절) 사이에 높은 상관관계가 존재함을 계층적 군집 분석을 통해 확인했다. 이러한 관측 교란은 SHAP 값이 실제 인과 효과와 왜곡될 위험을 내포한다. 이를 해결하기 위해 Double Machine Learning(DML) 프레임워크를 적용하였다. DML은 (1) 교란 변수들을 사용해 관심 변수(F6)를 ‘디컨퓨징’하는 첫 번째 머신러닝 모델을 학습하고, (2) 두 번째 모델을 통해 디컨퓨징된 변수와 매출 간의 평균 인과 효과(ATE)를 추정한다. 실험 결과, F6를 단독으로 통제했을 때는 인과 효과 부호가 양(+)으로 잘못 나타났지만, F2, F4, F5 등 다중 교란 변수를 모두 포함했을 때는 부정적(–) 부호가 올바르게 회복되었다. 이는 DML이 교란을 충분히 제어함으로써 실제 인과 관계를 정확히 포착한다는 강력한 증거다.

또한, 저자들은 모델 해석과 인과 추론을 결합한 실무 적용 방안을 제시한다. 첫 단계는 SHAP 등 포스트헛 해석 기법으로 전반적인 피처 중요도를 파악하고, 이후 클러스터링·상관 분석을 통해 잠재적 교란 구조를 식별한다. 식별된 교란 변수들을 DML 파이프라인에 투입해 인과 효과를 정량화하고, 최종적으로 비즈니스 의사결정(예: 마케팅 예산 증액, 재고 조정) 시 ‘인과 기반 시뮬레이션’에 활용한다.

이 논문의 주요 기여는 (1) 내재적 해석 가능 모델이 SHAP 값의 변동성을 감소시켜 해석 안정성을 제공함을 실증, (2) 다중 교란 변수를 포함한 DML이 인과 효과 부호를 정확히 복원함을 입증, (3) 소매업 데이터 특성에 맞는 해석‑인과 워크플로우를 제시함으로써 데이터 과학팀과 경영진 간의 커뮤니케이션 격차를 메우는 실용적 로드맵을 제공한다는 점이다. 다만, 데이터가 고도로 축소된 7개의 피처에 국한되어 있어 실제 현업에서는 더 높은 차원의 변수 선택 및 교란 탐지가 필요할 것이며, 관측되지 않은 교란이 존재할 경우 DML의 한계도 명시적으로 고려해야 한다.