색상 정제로 구현하는 정확한 볼록 ERM 인스턴스 압축

초록

본 논문은 색상 정제(color refinement) 기법을 활용해 볼록 경험 위험 최소화(ERM) 문제를 손실 없이 압축하는 일반적인 프레임워크를 제시한다. 선형·이차 프로그램에서 입증된 방법을 확장하여 미분 가능 볼록 최적화 전반에 적용하고, 선형·다항 회귀, 이진·다중 클래스 로지스틱 회귀, Elastic‑Net 정규화, 커널 리지·로지스틱 회귀 등 다양한 모델에 대한 구체적인 알고리즘을 개발하였다. 실험 결과는 압축 후에도 원 문제와 동일한 최적해를 얻으며, 연산량을 크게 감소시킴을 보여준다.

상세 분석

논문은 먼저 기존 연구에서 선형 프로그램(LP)과 볼록 이차 프로그램(QP)에 적용된 색상 정제 기반 압축 방식을 재조명한다. 여기서 핵심은 행·열 인덱스를 각각 색으로 구분하고, 같은 색에 속한 행·열이 동일한 합계(또는 가중합)를 갖는 ‘공정 파티션(equitable partition)’을 찾는 것이다. 이 파티션을 통해 변수와 제약을 집합적으로 하나의 대표 변수·제약으로 대체함으로써 원 문제와 동등한 축소 문제를 만든다.

본 연구는 이러한 아이디어를 미분 가능 볼록 프로그램 전반에 일반화한다. 정의 3.1에서 제시된 ‘감소 색상(reduction coloring)’은 변수 색 Q와 제약 색 P가 다음을 만족하도록 요구한다. (1) 동일 색에 속한 변수들의 목표함수와 제약함수에 대한 편미분값이 모든 색 고정 해에 동일하고, (2) 동일 색 제약들의 우변(b)과 경계(l, u)도 일치한다. 이러한 조건이 충족되면, 원 문제의 최적해 x를 색 Q에 대한 평균 연산인 Π_scaled^Q를 통해 축소 변수 x′로 변환하고, 역으로 x = Π^Q x′ 로 복원할 수 있다. 정리 3.3은 이 변환이 최적성을 보존함을 증명한다.

특히 저자들은 대칭성(symmetry) 기반 압축보다 강력함을 정리 3.4를 통해 보인다. 전통적인 자동군(automorphism group) 기반 방법은 변수·제약의 순열 불변성을 전제로 하지만, 감소 색상은 실제 함수값·미분값이 동일한 경우를 포착하므로 순열 불변성이 없어도 압축이 가능하다. 이는 데이터에 중복 구조가 존재하지만 명시적인 대칭군이 없을 때도 효과적인 압축을 가능하게 한다.

알고리즘 1은 행·열 색을 반복적으로 세분화해 가장 얇은 공정 파티션을 찾는 절차이며, 복잡도는 O(mn(log m+log n)) 혹은 희소 행렬의 경우 O(nnz(A)(log m+log n)) 로 제시된다. 이는 대규모 데이터셋에서도 실용적인 실행 시간을 보장한다.

응용 부분에서는 선형·다항 회귀, 이진·다중 클래스 로지스틱 회귀, Elastic‑Net 정규화, 커널 리지·로지스틱 회귀 등 다양한 ERM 모델에 대해 구체적인 감소 색상 조건을 도출한다. 예를 들어, 로지스틱 회귀에서는 동일 라벨을 가진 샘플이 동일한 특성 벡터를 공유하면 같은 색으로 묶일 수 있으며, 커널 방법에서는 커널 행렬의 행·열이 동일한 가중합을 가질 때 압축이 가능하다.

실험에서는 OpenML·LIBSVM 데이터셋을 이용해 이진 로지스틱 회귀를 테스트했으며, 압축 비율이 30%70%에 달하면서도 최적 목표값과 예측 정확도에 차이가 없음을 확인했다. 또한 압축 후 솔버 실행 시간이 평균 25배 가량 감소했다.

전반적으로 이 논문은 색상 정제라는 그래프 이론 기법을 미분 가능 볼록 최적화에 성공적으로 매핑함으로써, 기존의 근사 스케치·코어셋 방법이 제공하지 못하는 정확한(lossless) 압축을 제공한다. 이는 모델 해석성, 인증 요구가 높은 분야에서 특히 유용할 것으로 기대된다.