전이 회귀 알고리즘의 안정성 분석 및 일반화 경계

초록

본 논문은 알고리즘 안정성 개념을 이용해 전이 회귀(Transductive Regression) 알고리즘들의 일반화 경계를 새롭게 도출한다. convex 구조와 닫힌 형태 해를 활용해 여러 알고리즘 군의 안정성을 비교하고, 일부 널리 쓰이는 전이 회귀 방법이 실제로는 불안정함을 밝혀낸다. 또한 지역 전이 회귀에서 모델 선택에 안정성 경계를 적용해 이웃 반경을 효과적으로 결정하는 실험 결과를 제시한다.

상세 분석

전이 학습은 훈련 데이터와 테스트 데이터가 동일한 분포를 공유하지만, 테스트 샘플이 미리 주어지는 상황을 전제로 한다. 이러한 설정에서는 전통적인 i.i.d. 가정에 기반한 일반화 이론이 바로 적용되기 어렵다. 논문은 이 문제를 해결하기 위해 Bousquet와 Elisseeff가 제안한 알고리즘 안정성(algorithmic stability) 개념을 전이 회귀에 맞게 확장한다. 구체적으로, 훈련 샘플 하나가 바뀌었을 때 예측 함수가 얼마나 변하는지를 측정하는 β‑stability를 정의하고, 이를 통해 전이 일반화 오차(transductive generalization error)를 확률적 상한으로 제시한다.

주요 기법은 두 가지로 나뉜다. 첫째, **볼록성(Convexity)**을 이용해 손실 함수와 정규화 항이 모두 볼록인 경우, 최적화 해가 유일함을 보장하고, 라그랑주 승수 해석을 통해 β‑stability를 직접 계산한다. 둘째, **닫힌 형태 해(Closed‑form solution)**를 갖는 알고리즘—예를 들어, 정규화 최소제곱(Regularized Least Squares, RLS)이나 라플라시안 정규화(Laplacian Regularization) 기반 전이 회귀—에 대해서는 해의 행렬 표현을 이용해 샘플 교체에 따른 변화를 행렬 연산 수준에서 정량화한다. 이 과정에서 스펙트럼 분석을 활용해 가장 큰 고유값(또는 조건수)이 안정성에 미치는 영향을 명시적으로 드러낸다.

논문은 세 가지 주요 알고리즘 군을 대상으로 분석한다. (1) 전통적인 RLS 기반 전이 회귀는 정규화 파라미터 λ에 따라 β가 O(1/(λ n)) 수준으로 감소하지만, λ이 너무 작으면 고조건수 문제로 인해 불안정해진다. (2) 그래프 기반 라플라시안 전이 회귀는 그래프 라플라시안의 최소 비제로 고유값(λ₂)이 안정성에 직접적인 영향을 미치며, 그래프가 희소하거나 연결성이 낮을 경우 β가 크게 증가한다. (3) **지역 전이 회귀(Local Transductive Regression, LTR)**는 각 테스트 포인트에 대해 주변 이웃을 정의하고 가중치를 부여하는 방식인데, 이웃 반경 r이 커질수록 샘플 수가 늘어나 β는 감소하지만, 동시에 편향이 증가한다는 전형적인 편향‑분산 트레이드오프가 나타난다.

특히 논문은 불안정성을 보이는 사례를 실증한다. 라플라시안 정규화에서 그래프가 비연결성(Disconnected)인 경우, 최소 비제로 고유값이 0에 가까워져 β가 발산한다. 또한, LTR에서 반경 r을 과도하게 크게 잡으면 모든 훈련 샘플이 동일하게 가중치가 부여돼, 실제로는 전이 학습의 핵심 가정인 “테스트 샘플이 주변 훈련 샘플과 유사하다”는 전제가 무시되어 일반화 오차가 급격히 상승한다.

마지막으로, 실험에서는 LTR 알고리즘에 대해 모델 선택을 안정성 경계를 이용해 수행한다. β‑bound를 최소화하는 r 값을 탐색함으로써 교차 검증 없이도 최적의 반경을 찾을 수 있음을 보인다. 이 과정은 기존의 검증 집합을 따로 확보해야 하는 비용을 크게 절감한다는 실용적 의미를 가진다. 전체적으로 논문은 전이 회귀 알고리즘 설계 시 안정성을 핵심 설계 지표로 삼아야 함을 강력히 주장한다.