비대칭 커널 합제곱으로 구현하는 적응형 예측 구간

초록

본 논문은 기존 대칭형 컨포멀 예측(CP)의 한계를 극복하고, 잡음이 비대칭이거나 모델이 편향된 상황에서도 신뢰성 있는 예측 구간을 제공하기 위해 커널 합제곱(kSoS) 기반의 새로운 비대칭 점수 함수를 제안한다. 대칭성을 촉진하는 페널티를 도입해 페널티 강도에 따라 완전 대칭 구간에서 완전 비대칭 구간까지 연속적으로 전환할 수 있다. 대표 정리와 이중 형식(dual formulation)을 이용해 무한 차원 최적화를 실용적인 SDP 혹은 이중 문제로 변환하고, 데이터 기반 하이퍼파라미터 선택 방법을 제시한다. 실험 결과는 소규모 데이터나 편향된 모델에서도 제안 방법이 기존 대칭·비대칭 CP보다 더 좁은 구간과 높은 지역 커버리지를 제공함을 보여준다.

상세 분석

이 논문은 컨포멀 예측(Conformal Prediction, CP)의 핵심 목표인 “분포에 독립적인 마진 커버리지 보장”을 유지하면서, 실제 데이터에서 흔히 관찰되는 비대칭 잡음과 모델 편향을 효과적으로 다루는 새로운 프레임워크를 제시한다. 기존의 split‑CP는 절대 오차를 점수로 사용해 대칭 구간을 만들지만, 잡음이 비대칭이면 구간이 한쪽으로 과도하게 넓어지거나 좁아지는 문제가 발생한다. 이를 해결하기 위해 저자는 두 개의 비음수 함수 f_low(X)와 f_up(X)를 각각 하한과 상한을 조정하는 역할로 도입한다. 이 함수들은 재생 커널 힐베르트 공간(RKHS)에서 커널 합제곱(kSoS) 형태로 파라미터화되며, 양의 반정밀도(PSD) 연산자 A_low, A_up을 통해 f_low(X)=⟨ϕ_low(X),A_low ϕ_low(X)⟩, f_up(X)=⟨ϕ_up(X),A_up ϕ_up(X)⟩ 로 정의된다.

점수 함수는 S(X,Y)=max{b̂(X)−f_low(X)−Y, Y−b̂(X)−f_up(X)} 로 설정되어, 기존 CQR(Conformalized Quantile Regression)의 비대칭 구조를 그대로 유지하면서도, 하한·상한을 직접 학습한다는 점이 차별점이다. 학습 목표는 (i) 전체 구간 폭을 최소화하는 ‖f_low+f_up‖1 형태의 손실, (ii) 정규화 항 Ω(A)=λ₁‖A‖*+λ₂‖A‖_F² 로 모델 복잡도를 제어하고, (iii) 훈련 샘플에 대해 100% 커버리지를 강제하는 선형 제약을 포함한다. 이러한 제약은 비대칭 구간이 실제 데이터의 편향을 보정하도록 유도한다.

무한 차원 최적화 문제는 대표 정리(Theorem 3.1)를 통해 A_low, A_up이 데이터에 대한 유한 차원 행렬 형태로 표현될 수 있음을 보인다. 구체적으로 A* = Φᵀ B Φ 형태이며, B는 반정밀도 행렬이다. 이때 SDP 형태로 직접 풀면 n≈200 이하의 작은 데이터셋에선 효율적이지만, 대규모 데이터에서는 이중 형태(Dual formulation, Proposition 3.2)를 도입한다. 이중 문제는 변수 Γ∈ℝ₊ⁿ 로 전환되어, 목표 함수는 Γ·rᵀ−Ω_⁺(V Diag(Γ−b)Vᵀ) 로 표현된다. 여기서 Ω_⁺는 정규화 항의 콘벡스 공액(conjugate)이며, 최적 Γ를 통해 A를 복원한다.

핵심 혁신은 “대칭 페널티”이다. λ_sym·‖A_low−A_up‖_* 와 같은 항을 목적에 추가하면, λ_sym이 클수록 두 함수가 서로 가까워져 구간이 점점 대칭에 수렴한다. 반대로 λ_sym이 0이면 완전 비대칭을 허용한다. 저자는 두 가지 페널티 설계(예: 차이의 핵심값(norm)과 차이의 제곱합)를 제시하고, 이를 통해 비대칭·대칭 사이를 연속적으로 조정한다.

하이퍼파라미터 λ₁, λ₂, λ_sym 및 커널 길이 스케일은 데이터‑드리븐 적응성 기준(adaptivity criterion)을 사용해 자동 선택한다. 구체적으로, 검증 데이터에서 지역 커버리지와 구간 폭의 트레이드오프를 측정하고, 그라디언트 기반 혹은 그리드 서치를 통해 최적값을 찾는다. 또한 warm‑start 전략을 도입해 반복 최적화 비용을 크게 감소시킨다.

실험에서는 합성 데이터와 실제 회귀 문제(예: 의료 비용 예측, 항공기 연료 소모)에서 기존 split‑CP, CQR, DCP와 비교한다. 특히 소규모 샘플(n≈50)이나 모델이 의도적으로 편향된 경우(예: 과소적합)에서 제안 방법은 평균 구간 폭을 35% 감소시키면서, 지역 커버리지를 24% 향상시킨다. 비대칭 잡음이 명백히 존재하는 경우에도, 페널티 조절을 통해 과도한 비대칭을 억제하고, 최적의 중간 구간을 찾아낸다. 전체적으로 제안된 비대칭 kSoS 프레임워크는 이론적 보장(마진 커버리지), 계산 효율성(dual formulation), 그리고 실용적인 자동 튜닝 메커니즘을 동시에 만족한다는 점에서 기존 CP 연구에 중요한 진전을 제공한다.