대규모 데이터 다중대체를 위한 bigMICE 패키지

초록

bigMICE는 Apache Spark 기반으로 MICE 알고리즘을 재구현하여 메모리 사용량을 제어하고, 일반적인 랩톱 환경에서도 수백만 건의 의료 레지스트리 데이터를 효율적으로 다중대체할 수 있게 만든 오픈소스 패키지이다. 실험 결과, 기존 R‑mice 대비 메모리 효율이 높고 실행 시간이 크게 단축되었으며, 결측 비율이 높은 변수에 대해서도 높은 품질의 대체값을 제공한다.

상세 분석

본 논문은 전통적인 MICE 구현이 대규모 데이터에 적용될 때 발생하는 두 가지 핵심 문제—계산 시간 폭증과 메모리 초과—를 해결하기 위해 Spark의 분산 처리와 메모리 관리 기능을 활용한 bigMICE 패키지를 설계·구현하였다. 먼저 데이터 프레임을 Spark DataFrame으로 변환하고, 각 변수별 조건부 회귀 모델을 Spark MLlib의 선형 회귀, 로지스틱 회귀, 다항 로지스틱 회귀 등으로 매핑함으로써 모델 학습과 예측을 클러스터 전역에서 병렬화한다. MICE의 반복적 체인 구조는 Spark DAG(Directed Acyclic Graph) 실행 모델에 맞게 단계별 변환으로 구현되어, 각 반복마다 중간 결과를 디스크에 스와핑하거나 캐시 메모리 용량에 맞게 파티션을 재조정한다. 특히 ‘maxMemory’ 파라미터를 통해 사용자가 허용 가능한 RAM 한계를 지정하면, 패키지는 자동으로 파티션 크기와 저장 포맷을 조절해 OOM(out‑of‑memory) 오류를 방지한다.

알고리즘적 측면에서, 기존 MICE는 각 변수별 회귀 모델을 순차적으로 학습하고 결측값을 대체하는 과정에서 전체 데이터가 메모리에 상주해야 했지만, bigMICE는 Spark의 lazy evaluation과 컬럼 기반 연산을 이용해 필요한 부분만 메모리로 로드한다. 또한, 다중 대체(m) 횟수를 병렬 작업으로 분리함으로써 각 대체본을 독립적인 Spark 작업으로 실행해 전체 실행 시간을 거의 선형적으로 감소시켰다.

성능 평가에서는 스웨덴 의료 레지스트리(수백만 행, 수백 개 변수)를 대상으로 샘플 크기와 결측 비율을 변형한 시나리오를 구성하였다. 메모리 사용량은 기존 R‑mice가 16 GB RAM에서 즉시 OOM을 일으키는 반면, bigMICE는 4 GB 이하로 유지하면서도 2~3배 빠른 실행 시간을 기록했다. 통계적 품질 측면에서는, 결측 비율이 70 %에 달하는 변수에 대해서도 평균 절대 오차(MAE)와 RMSE가 기존 구현보다 유의하게 낮았으며, Rubin’s Rules에 기반한 추정값의 표준오차도 적절히 보존되었다.

패키지 배포는 R‑sparklyr 인터페이스를 통해 이루어져, 기존 R 사용자들이 별도 코드 수정 없이 Spark 클러스터에 연결해 bigMICE를 호출할 수 있다. 또한, 오픈소스 GitHub 저장소에 상세 문서와 재현 가능한 예제가 제공되어, 의료 데이터 외에도 금융, 소셜 미디어 등 다양한 도메인에 적용 가능하도록 설계되었다.

결론적으로, bigMICE는 MICE의 통계적 강점을 유지하면서도 빅데이터 환경에서 요구되는 확장성, 메모리 효율성, 실행 속도를 동시에 만족시키는 실용적인 솔루션이며, 향후 Spark MLlib에 새로운 회귀 모델(예: Gradient Boosted Trees)이나 GPU 가속을 연계함으로써 더욱 높은 성능을 기대할 수 있다.