다변량 회귀를 위한 최소 부피 적합 집합 설계

초록

본 논문은 다변량 회귀에서 예측 집합의 부피를 직접 최소화하면서도 유한 표본 보장을 제공하는 새로운 최적화 기반 프레임워크를 제안한다. 임의의 p‑노름(다중 노름 포함) 구 형태를 학습하고, 예측 모델과 불확실성 추정기를 공동 최적화한 뒤, 별도 캘리브레이션 셋을 이용해 컨포멀화함으로써, 기존 방법보다 더 작고 적응적인 예측 집합을 효율적으로 얻는다.

상세 분석

이 논문은 다변량 회귀 문제에서 “예측 집합(prediction set)”의 부피를 최소화한다는 목표를 수학적 최적화 문제로 정형화한다는 점에서 혁신적이다. 기존의 다변량 컨포멀 방법들은 주로 직교 사각형, 타원형, 혹은 복잡한 밀도 추정·코퓰라 모델에 의존했으며, 이들은 기하학적 제약이 강하거나 고차원에서 계산 비용이 급증한다는 한계를 가지고 있었다. 저자들은 이러한 제약을 없애기 위해 임의의 노름 ‖·‖을 정의하고, B(‖·‖,M,μ)= {y∈ℝ^k | ‖M(y−μ)‖≤1} 형태의 “노름 볼”을 예측 집합의 기본 형태로 채택한다. 여기서 M은 양의 반정치 행렬이며, μ는 중심을 나타낸다. 핵심 아이디어는 M과 μ를 데이터에 맞게 최적화함으로써, 주어진 α에 대해 최소 부피를 갖는 집합을 찾는 것이다.

수학적으로는 “최소 부피 커버링 집합(MVCS)” 문제를 차분(convex‑concave) 형태의 DC 프로그램으로 전개한다. 구체적으로 부피는 |det(M)|^{-1} 로 표현되며, 이는 비선형이지만 로그 변환을 통해 볼록화가 가능하다. 또한 p‑노름을 연속적인 파라미터 p∈(0,∞) 로 두어, 최적 p를 자동 선택하도록 설계했으며, 다중 노름(multi‑norm) 확장을 통해 서로 다른 차원에 서로 다른 스케일을 적용할 수 있다. 이러한 유연성은 복잡한 잔차 분포(예: 비대칭, 다중 모드)를 효과적으로 포착한다.

예측 모델 f_θ와 불확실성 변환 함수 g_φ(·)를 동시에 학습하는 “감독 학습(supervised learning) with adaptive prediction sets” 단계에서는 새로운 손실함수 L(θ,φ,M,μ)=α·|det(M)|^{-1}+β·ℓ(f_θ) + γ·regularizer 를 제안한다. 여기서 ℓ는 전통적인 회귀 손실(예: MSE)이며, α,β,γ는 트레이드오프 파라미터다. 손실은 비볼록이지만, 저자들은 교번(block‑coordinate) 최적화와 서브그라디언트 방법을 결합해 실용적인 수렴을 보장한다. 특히, M과 μ을 업데이트할 때는 DC 알고리즘을, θ와 φ를 업데이트할 때는 표준 SGD/Adam을 사용한다.

컨포멀화 단계에서는 별도의 캘리브레이션 셋을 이용해 학습된 MVCS를 재스케일한다. 구체적으로, 잔차에 대한 새로운 비정형성 점수 s(x,y)=‖M(f_θ(x)−y)‖를 정의하고, 캘리브레이션 데이터에서 (1−α)‑분위수를 추정한다. 이 분위수 q_α를 이용해 최종 예측 집합 C(x)= {y | s(x,y) ≤ q_α} 로 정의함으로써, 기존 컨포멀 이론이 보장하는 유한 표본 커버리지를 그대로 유지한다. 중요한 점은, 이 과정이 학습된 M과 μ을 그대로 활용하므로, “형태(shape)”는 변하지 않고 단지 규모(scale)만 조정된다는 것이다.

실험에서는 합성 데이터(가우시안, 지수, 혼합 균일)와 실제 데이터셋(UCI, 의료, 환경)에서 기존 방법(하이퍼레크탱글, 타원형, 코퓰라 기반, 최적 수송)과 비교했다. 결과는 평균 부피가 15~30% 감소하면서도 커버리지는 1−α 수준을 정확히 만족함을 보여준다. 특히 고차원(k≥20)에서 계산 시간은 O(k^3) 이하로 유지돼, 기존 고비용 방법보다 실용적이다. 또한, 다중 노름을 사용한 경우 복잡한 잔차 구조를 효과적으로 포착해, 단일 노름보다 부피 감소 효과가 더 크게 나타났다.

이 논문의 주요 기여는 다음과 같다. (1) 임의의 노름 볼을 통한 최소 부피 커버링 집합의 일반화된 최적화 프레임워크 제시, DC와 볼록 완화를 통한 계산 가능성 확보. (2) 예측 모델과 불확실성 추정기를 공동 학습함으로써, 예측 정확도와 집합 부피 사이의 트레이드오프를 자동화. (3) 기존 컨포멀 이론과 자연스럽게 결합해, 유한 표본 보장을 유지하면서도 부피 최적화를 달성. (4) 다중 노름 확장을 통해 데이터에 맞는 비대칭·다중 모드 형태를 학습 가능하게 함. (5) 실험을 통해 이론적 장점이 실제 데이터에서도 실현됨을 입증.

전반적으로 이 연구는 다변량 회귀에서 “예측 집합의 부피 최소화”라는 실질적인 목표를 수학적 최적화와 컨포멀 이론을 결합해 해결한 최초의 시도 중 하나이며, 고차원·복잡한 분포 상황에서도 실용적인 알고리즘을 제공한다는 점에서 큰 의미가 있다.