ROIDS: 이상치에 강인한 정보 기반 다운샘플링

초록

ROIDS는 기존 IDS가 이상치에 과도하게 집중해 과적합을 일으키는 문제를 해결한다. 학습 데이터에서 평균 오차가 가장 큰 사례를 사전에 제외하고, 남은 사례들에 대해 거리 기반으로 다양하고 정보량이 큰 서브셋을 선택한다. 실험 결과, 합성·실제 데이터 모두에서 ROIDS는 IDS와 무작위 샘플링(RDS)을 능가하며, 특히 이상치가 포함된 경우 80 % 이상의 벤치마크에서 우수한 성능을 보인다.

상세 분석

본 논문은 심볼릭 회귀에서 부모 선택을 위한 다운샘플링 전략으로 널리 쓰이는 IDS(Informed Down‑Sampling)의 근본적인 한계를 규명하고, 이를 보완한 ROIDS(Robust Outlier‑Aware Informed Down‑Sampling)를 제안한다. IDS는 매 l 세대마다 전체 훈련 데이터를 사용해 샘플링된 부모 집단 ρ·|P|의 오류 벡터를 구축하고, 이 벡터들 간의 거리 행렬을 기반으로 “가장 먼” 사례들을 선택해 서브셋 N을 만든다. 이 과정은 데이터의 희소 영역(엣지 케이스)을 강조해 탐색 효율을 높이지만, 이상치가 존재하면 오류 벡터의 평균값이 크게 상승해 해당 사례가 거리 행렬에서 중심적인 역할을 차지한다. 결과적으로 IDS는 이상치를 과도하게 포함하고, GP가 이상치에 맞춰 과적합되는 현상이 발생한다.

ROIDS는 이 문제를 해결하기 위해 오류 벡터의 평균값을 계산한 뒤, 상위 γ·|T| 비율(기본값은 5 % 정도)의 사례를 사전 제거한다. 이렇게 제외된 사례는 “잠재적 이상치”로 간주되며, 이후 거리 행렬은 남은 ˆT에 대해 계산된다. 이 단계는 IDS와 동일한 복잡도(O(|T|·ρ·|P|))를 유지하면서도 추가 연산이 거의 없으며, 이상치가 차지하는 비중을 효과적으로 억제한다.

알고리즘 1을 통해 구체적인 흐름을 살펴보면, (1) 매 l 세대마다 전체 데이터에 대한 오류 벡터를 수집, (2) 평균 오류가 큰 사례를 γ 비율만큼 필터링, (3) 남은 사례들에 대해 거리 행렬 D를 구축, (4) Farthest‑First Traversal을 이용해 n·|T|개의 사례를 선택한다. 이때 선택된 서브셋은 기존 IDS가 강조하던 “다양성”을 유지하면서도, 이상치에 대한 편향을 최소화한다.

실험 설계는 두 부분으로 나뉜다. 첫 번째는 2‑D nguyen‑6 문제와 Friedman 시리즈(합성 데이터)에서 이상치 비율을 0 %와 5 %로 변형한 8가지 변형을 사용해 IDS와 ROIDS의 행동을 시각화(UMAP)하고 포함 빈도를 비교했다. 결과는 IDS가 이상치에 과도하게 집중하는 반면, ROIDS는 엣지 케이스를 지속적으로 선택함을 보여준다. 두 번째는 10개의 실제 회귀 데이터셋(콘크리트, 주택 가격, 와인 품질 등)에서 30‑회 반복 실험을 수행했다. 성능 평가는 테스트 RMSE와 평균 순위(rank)를 기준으로 했으며, ROIDS는 전체 평균 순위 1.7로 IDS(3.0)와 RDS(2.5)를 크게 앞섰다. 특히 이상치가 존재하는 데이터셋에서 ROIDS는 IDS보다 80 % 이상 높은 성공률을 기록했다.

또한, 사전 이상치 제거 기법(예: IQR 기반 필터링)과 결합했을 때도 ROIDS는 여전히 우수한 성능을 유지했으며, 이는 ROIDS가 단순히 “이상치를 제거”하는 것이 아니라, GP 탐색 과정에서 이상치에 대한 영향을 동적으로 억제한다는 점을 의미한다. 계산 비용 측면에서도 ROIDS는 IDS와 동일한 복잡도를 가지며, 추가적인 메모리·시간 오버헤드가 거의 없다는 점이 실용성을 높인다.

결론적으로, ROIDS는 (1) 이상치에 대한 과적합 위험을 감소, (2) IDS가 제공하는 다양성 기반 샘플링 장점을 보존, (3) 거의 무가산 비용으로 구현 가능하다는 세 가지 핵심 장점을 제공한다. 이는 심볼릭 회귀뿐 아니라, 노이즈와 이상치가 흔한 실세계 데이터에 GP 기반 모델링을 적용하려는 연구자와 실무자에게 강력한 대안이 될 수 있다.