다중목적 진화 알고리즘 기반 회귀 모델 선택

초록

본 논문은 회귀 변수 선택을 두 개의 상충 목표(모델 복잡도 최소화와 적합도 최대화)로 정의하고, 다중목적 유전 알고리즘(MOGA‑VS)을 이용해 파레토 최적 모델 집합을 자동으로 탐색한다. 사용자는 시각화와 간단한 메트릭을 통해 최종 모델을 선택할 수 있다. 실제 미국 범죄 데이터에 적용해 기존 방법과 비교한 결과, MOGA‑VS가 다양한 복잡도‑성능 트레이드오프를 제공함을 보였다.

상세 분석

이 논문은 변수 선택 문제를 “복잡도(선택된 변수 수)와 적합도(평균제곱오차) 사이의 트레이드오프”라는 두 목표를 동시에 최소화하는 다중목적 최적화 문제로 공식화한다. 복잡도 목표 ϕ₁은 선택된 변수 개수를 정수값으로 반환하고, 적합도 목표 ϕ₂는 훈련 데이터에 대한 평균제곱오차(MSE)를 사용한다. 두 목표를 동시에 만족하는 해는 서로를 지배하지 않는 비지배(non‑dominated) 집합, 즉 파레토 최적(front)으로 정의된다.

MOGA‑VS는 전통적인 단일목적 GA와 달리 NSGA‑II와 유사한 비지배 정렬과 군집 거리 기반 선택 메커니즘을 채택한다. 초기 개체군은 무작위로 생성된 변수 서브셋(이진 인코딩)으로 구성되며, 교차·돌연변이 연산을 통해 새로운 서브셋을 탐색한다. 각 세대마다 파레토 프론트를 업데이트하고, 지배 관계와 군집 거리를 이용해 다양성을 유지한다. 알고리즘은 사용자가 사전 설정한 세대 수 혹은 수렴 기준에 도달할 때까지 진행된다.

핵심적인 기여는 (1) 모델 선택을 완전한 파레토 탐색 문제로 전환함으로써 “단일 최적 모델”에 얽매이지 않고 다양한 복잡도‑성능 조합을 제공한다는 점, (2) 탐색 단계와 의사결정 단계(시각화·간단 메트릭)를 명확히 분리하여 사용자가 도메인 지식에 기반해 최적 모델을 선택하도록 지원한다는 점이다.

실험에서는 세 개의 데이터셋(특히 미국 ‘Communities and Crime’ 데이터)에서 MOGA‑VS를 기존 AIC/BIC 기반 단계별 선택, 전진·후진 선택, 베이지안 모델 평균화(BMA)와 비교하였다. 결과는 MOGA‑VS가 파레토 프론트 상에서 더 넓은 범위의 비지배 모델을 제공하고, 특히 일반화 오차가 낮은 모델을 다수 포함한다는 것을 보여준다. 또한, 일반화 오차 최소화를 목표로 하는 변형을 적용했을 때도 기존 방법보다 안정적인 성능을 유지한다.

한계점으로는 (①) 파레토 프론트가 매우 큰 경우 시각화와 최종 선택이 여전히 주관적일 수 있다는 점, (②) 목표 함수가 MSE와 변수 수에만 국한돼 있어, 변수 간 상호작용이나 비선형 변환을 직접 고려하기 어렵다는 점, (③) GA 기반 탐색 특성상 최적화 비용이 데이터 차원과 변수 수에 따라 급격히 증가한다는 점을 들 수 있다. 향후 연구에서는 다중목적 목표에 정규화·스파스성 제약을 추가하거나, 파레토 프론트 압축을 위한 클러스터링 기반 후처리 기법을 도입해 사용자 의사결정을 돕는 방안을 제시할 수 있다.