브레니에르 등고선 회귀를 통한 다출력 단조 회귀

초록

본 논문은 다변량 출력에 대해 전통적인 단조 회귀를 확장한 ‘브레니에르 등고선 회귀(BrenierIR)’를 제안한다. 출력 함수가 사이클릭 모노톤(순환 단조)이라는 가정을 두고, 최적 수송(Kantorovich OT)의 최적 커플링이 자동으로 순환 단조성을 만족한다는 사실을 이용해 이중 최적화 문제를 구성한다. 내부 문제는 비용이 제곱거리인 OT를 풀어 순환 단조 커플링을 얻고, 외부 문제는 해당 커플링을 통해 얻은 변환 후 예측값과 실제 라벨 사이의 제곱오차를 최소화한다. 이 방법은 다중 클래스 확률 보정 및 단일 지수 모델에 적용되어 기존 베이스라인을 일관되게 능가한다.

상세 분석

브레니에르 등고선 회귀는 기존 1차원 단조 회귀(isotonic regression, IR)의 한계를 다변량 출력으로 확장하려는 시도에서 출발한다. 다변량 출력에서는 “비감소”라는 개념을 좌표별로 적용하는 좌표별 단조성(coordinate‑wise monotonicity)이 GLM이나 소프트맥스와 같은 일반적인 다중 클래스 모델을 충분히 표현하지 못한다는 점을 지적한다. 대신, 사이클릭 모노톤(cyclically monotone)이라는 보다 일반적인 구조를 도입한다. 사이클릭 모노톤 함수는 어떤 볼록 잠재 함수 Φ의 그래디언트 φ=∇Φ 로 표현될 수 있으며, 이는 Brenier 정리에서 최적 수송 맵이 볼록 잠재 함수의 그래디언트라는 사실과 직접 연결된다.

논문은 이를 활용해 회귀 문제를 이중 최적화 형태로 재구성한다. 내부 문제는 주어진 입력 집합 {z_i}와 추정된 출력 집합 {u_j} 사이의 비용 행렬 C_{ij}=‖z_i−u_j‖²₂ 를 사용해 Kantorovich OT를 풀어 최적 커플링 P*∈B(n,n) 를 구한다. OT의 최적 커플링은 항상 c‑cyclically monotone이므로, 이 커플링이 정의하는 베리센트릭 맵 T_{P*}(z_i)=∑j P*{ij} u_j 은 자동으로 사이클릭 모노톤 그래프를 가진 변환을 제공한다. 외부 문제는 이 변환을 적용한 예측값 b_y_i = T_{P*}(z_i) 와 실제 라벨 y_i 사이의 평균 제곱 오차를 최소화한다. 즉, “출력은 OT에 의해 얻어진 벡터 양자화(vector quantile)와 일치한다”는 해석이 가능하며, 이는 다변량 조건부 양자화와도 연관된다.

이론적으로는 다음을 보인다. (1) 1차원 경우, 입력이 정렬된 상태에서 최적 커플링은 단순히 순열이며, 베리센트릭 맵은 기존 PAV 알고리즘과 동등함을 정리 1을 통해 증명한다. (2) 연속적인 원본 분포 µ가 절대 연속이면 Brenier 정리에 따라 유일한 볼록 잠재 Φ가 존재하고, 그 그래디언트가 최적 전송 맵이 된다. (3) 이산 경우에도 최적 커플링은 퍼뮤테이션 행렬의 볼록 조합이며, 따라서 계산적으로는 O(n³) 복잡도의 선형 계획법으로 해결 가능하다.

실험에서는 다중 클래스 확률 보정(task: calibration)과 단일 지수 모델(single‑index model) 두 가지 벤치마크에 BrenierIR을 적용한다. 보정 실험에서는 기존의 OvR‑IR, 온도 스케일링, 베이지안 보정 등과 비교했을 때 로그 손실(log‑loss) 및 기대 캘리브레이션 오류에서 일관된 우위를 보였다. 특히, 하이퍼파라미터 튜닝이 거의 필요 없으며, OT 기반의 구조적 제약이 과적합을 억제하는 효과가 확인되었다. 단일 지수 모델에서는 비선형 링크 함수를 파라메트릭하게 추정하는 기존 방법보다 낮은 평균 제곱 오차를 기록했다. 전체적으로 BrenierIR은 “볼록 잠재 + OT”라는 강력한 수학적 기반 위에 구축돼, 다변량 단조 회귀라는 새로운 패러다임을 제시한다는 점에서 의의가 크다.