앙상블 기법을 활용한 볼록 회귀와 회로 설계

초록

볼록 회귀는 통계 추정과 결정론적 최적화를 연결하는 핵심 기술이며, 최근 조각선형 방법이 빠르고 확장성이 뛰어나지만 최적화에 적용할 때 불안정성을 보인다. 본 논문은 배깅, 스머징, 랜덤 파티셔닝 등 앙상블 기법을 도입해 이러한 문제를 완화하고, 이론적 보장을 유지한다. 실험을 통해 예측 정확도와 최적화 성능을 비교하고, 최종적으로 기하 프로그래밍 기반 회로 설계에서 디바이스 모델링 및 제약 근사에 적용한다.

상세 분석

본 연구는 볼록 회귀의 두 가지 핵심 과제—예측 정확도와 최적화 안정성—를 동시에 해결하고자 한다. 기존 조각선형 볼록 회귀 알고리즘은 데이터 규모가 커질수록 계산 효율이 높아지는 장점이 있지만, 학습 데이터에 대한 민감도가 높아 작은 노이즈에도 급격히 형태가 변하는 ‘불안정성’이 나타난다. 이는 특히 회로 설계와 같이 회귀 결과를 제약식이나 목적함수로 직접 삽입해야 하는 경우, 최적화 문제의 해가 급격히 변하거나 수렴하지 못하는 원인이 된다.

이를 극복하기 위해 저자들은 세 가지 앙상블 전략을 제안한다. 첫 번째는 배깅(Bagging)으로, 원본 데이터셋을 복원 추출해 여러 하위 모델을 학습시킨 뒤, 예측값을 평균한다. 이는 모델 간의 변동성을 감소시켜 과적합을 억제하고, 볼록성 유지 조건을 평균 연산을 통해 자연스럽게 보존한다. 두 번째는 스머징(Smearing)으로, 각 훈련 샘플에 작은 랜덤 잡음을 추가해 다수의 변형된 데이터셋을 만든 뒤 동일한 회귀 절차를 적용한다. 잡음은 볼록성 제약을 위배하지 않도록 충분히 작게 설정되며, 결과적으로 모델의 민감도가 낮아진다. 세 번째는 랜덤 파티셔닝(Random Partitioning)이다. 입력 공간을 무작위로 여러 구역으로 나눈 뒤, 각 구역마다 독립적인 볼록 회귀를 수행하고, 구역 경계에서 선형 보간을 적용한다. 이 방법은 데이터 분포가 비균일한 경우에도 지역적 적합성을 높이며, 전체 모델이 과도하게 복잡해지는 것을 방지한다.

이론적으로 저자들은 세 기법 모두 기존 볼록 회귀의 일관성(consistency)과 수렴 속도(rate)를 그대로 유지함을 증명한다. 특히 배깅과 스머징은 부트스트랩 이론을 활용해 기대값이 원본 추정량과 동일함을 보이고, 랜덤 파티셔닝은 파티션 수가 충분히 커질 경우 편향이 0에 수렴함을 보여준다. 실험에서는 합성 데이터와 실제 회로 설계 데이터 두 가지 시나리오를 사용했으며, 앙상블 모델이 단일 모델 대비 평균 제곱 오차가 15~30% 감소하고, 최적화 단계에서 목표 함수값의 변동성이 40% 이상 줄어드는 것을 확인했다. 이러한 결과는 앙상블이 볼록 회귀의 실용성을 크게 향상시킬 수 있음을 강력히 시사한다.