교사‑학생 상호작용 기반 새로운 RVFL 학습 패러다임

초록

본 논문은 학습 시 교사가 제공하는 특수한 부가 정보(Privileged Information)를 활용해 랜덤 벡터 기능 연결 네트워크(RVFL)를 확장한 RVFL+와 그 커널 버전인 KRVFL+를 제안한다. 랜덤 가중치를 고정하고 출력 가중치를 닫힌 형태로 구해 학습 효율성을 높이며, Rademacher 복잡도 기반 일반화 오차 경계도 이론적으로 제시한다. 14개의 실제 데이터셋 실험에서 기존 SVM+, 표준 RVFL 및 최신 방법들을 능가하는 성능을 보였다.

상세 분석

RVFL+는 기존 RVFL 구조에 LUPI(Learning Using Privileged Information) 패러다임을 접목시킨 점이 가장 큰 혁신이다. 기존 RVFL은 입력층과 강화 노드 사이의 가중치를 무작위로 초기화하고 고정한 뒤, 입력과 강화 노드의 출력을 결합한 행렬 H에 대해 Moore‑Penrose 역행렬 또는 릿지 회귀를 이용해 출력 가중치 w를 직접 계산한다. 이때 학습 과정에서 추가적인 특권 정보 ˜x가 존재하면, 원본 특성 x와 ˜x를 각각 별도의 변환층을 거쳐 결합 특성 h(x,˜x)로 만든다. 최적화 목표는 ‖w‖²와 손실 ‖Y‑H w‖²를 동시에 최소화하는 정규화된 최소제곱 문제이며, 이는 SVM+의 이중 형태와 유사하지만 QP가 아닌 선형 방정식으로 닫힌 해를 얻을 수 있다.

핵심 이점은 다음과 같다. 첫째, 특권 정보가 학습 단계에만 사용되므로 테스트 시 추가 비용이 전혀 들지 않는다. 둘째, RVFL+는 SVM+에 비해 제약 조건이 훨씬 완화되어, 복잡한 QP 솔버 대신 단순 행렬 연산만으로 학습이 가능하다. 셋째, KRVFL+는 커널 트릭을 적용해 원본 및 특권 특성을 RKHS에 매핑함으로써 비선형 관계를 고차원에서 선형적으로 처리한다. 이때 랜덤 어피니 변환이 사라져 불확실성이 감소하고, 강화 노드 수에 의존하던 일반화 성능 변동도 완화된다.

이론적 분석에서는 출력 가중치가 선형 모델에 해당한다는 점을 이용해 Rademacher 복잡도를 계산하였다. 제시된 일반화 오차 경계는 기존 RVFL에 대한 경계보다 더 타이트하며, 특권 정보가 포함된 경우에도 동일한 형태로 확장된다. 복잡도는 입력 차원, 강화 노드 수, 정규화 파라미터 C 등에 의해 제어되며, 경계식은 데이터 분포에 대한 의존성을 명시적으로 포함한다.

실험에서는 14개의 공개 데이터셋(이미지, 텍스트, 바이오메디컬 등)에서 RVFL+, KRVFL+를 각각 10번 반복 실행해 평균 정확도와 훈련 시간을 보고하였다. 결과는 SVM+, LS‑SVM+, 표준 RVFL, Deep Neural Network 등과 비교했을 때, 특히 특권 정보가 풍부한 경우(예: 이미지의 깊이 정보, 텍스트의 메타데이터) 2~5% 이상의 정확도 향상을 보였으며, 학습 시간은 기존 QP 기반 방법에 비해 1/10 수준으로 크게 단축되었다. 또한, KRVFL+는 강화 노드 수에 민감하지 않아 파라미터 튜닝 부담이 감소한다는 실용적 장점도 확인되었다.

요약하면, RVFL+는 랜덤화된 신경망과 LUPI 패러다임을 자연스럽게 결합해 학습 효율성과 일반화 성능을 동시에 개선한 모델이며, KRVFL+는 커널 확장을 통해 복잡한 비선형 문제에도 강인하게 적용할 수 있다. 이론적 일반화 경계와 실험적 검증이 모두 뒷받침되는 점이 논문의 강점이다.