결측 데이터 복원을 위한 자동인코더와 의사결정 포레스트 통합 접근

초록

본 논문은 자동인코더 기반 신경망에 유전 알고리즘을 적용해 결측 데이터를 추정하고, 최대우도법으로 MAR(결측이 무작위) 가정을 구현한다. 이후 의사결정 포레스트를 결합해 모델을 최적화하고, 평균제곱오차(MSE)로 성능을 평가한다. 실험 결과 의사결정 포레스트가 결측 복원 정확도를 유의하게 향상시킴을 확인하였다.

상세 분석

본 연구는 결측 데이터 처리 분야에서 딥러닝과 전통적인 앙상블 기법을 융합한 하이브리드 모델을 제안한다. 먼저 자동인코더(Autoencoder)를 사용해 입력 변수의 비선형 관계를 학습하고, 결측값을 재구성한다. 자동인코더는 입력을 압축하는 인코더와 압축된 표현을 원래 차원으로 복원하는 디코더로 구성되며, 재구성 오류를 최소화하도록 학습된다. 여기서 저자는 유전 알고리즘(Genetic Algorithm, GA)을 활용해 네트워크의 가중치와 하이퍼파라미터(예: 은닉층 수, 뉴런 수, 학습률)를 전역 최적화한다. GA는 초기 개체군을 무작위로 생성하고, 적합도 함수로 재구성 오차(MSE)를 사용해 선택, 교배, 변이를 반복함으로써 최적 해에 수렴한다. 이러한 전역 탐색은 전통적인 경사 하강법이 지역 최소점에 빠지는 문제를 완화한다는 점에서 의미가 있다.

결측 메커니즘은 MAR(Missing At Random)으로 가정하고, 최대우도법(Maximum Likelihood, ML)을 통해 결측값의 확률분포를 추정한다. ML 접근은 관측된 데이터와 결측 데이터의 결합 가능도를 최대화함으로써 통계적 일관성을 보장한다. 그러나 MAR 가정이 실제 데이터에 부합하는지에 대한 검증이 부족하며, MNAR(Not Missing At Random) 상황에서는 모델 성능이 급격히 저하될 가능성이 있다.

핵심 혁신은 자동인코더와 의사결정 포레스트(Decision Forest)를 결합한 점이다. 의사결정 포레스트는 다수의 결정 트리를 랜덤하게 생성하고, 각 트리의 예측을 평균화해 과적합을 방지한다. 저자는 자동인코더가 생성한 복원값을 포레스트의 입력 피처로 활용하거나, 포레스트 자체를 후처리 단계에서 결측값을 재조정하는 보조 모델로 사용한다. 이중 모델 구조는 자동인코더가 포착하지 못한 고차원 상호작용을 포레스트가 보완함으로써 전체 MSE를 감소시킨다. 실험에서는 포레스트 적용 전후의 MSE 차이를 제시했으며, 평균적으로 15~20% 정도의 개선을 보고하였다.

하지만 몇 가지 한계점도 존재한다. 첫째, 데이터셋 규모와 특성이 논문에 상세히 기술되지 않아 결과의 일반화 가능성을 판단하기 어렵다. 둘째, GA 기반 최적화는 계산 비용이 매우 높으며, 특히 대규모 신경망에서는 실용성이 떨어진다. 셋째, 모델 평가에 MSE 외의 지표(예: MAE, R², 신뢰구간)를 사용하지 않아 결과 해석이 제한적이다. 마지막으로, 결측 비율이 증가함에 따라 모델 성능이 어떻게 변하는지에 대한 정량적 분석이 부족하다. 이러한 점들을 보완한다면 제안된 하이브리드 접근은 다양한 실무 분야에서 결측 데이터 문제를 해결하는 강력한 도구가 될 수 있다.