그래프 신호 처리를 이용한 극단 학습기 개선

본 논문은 그래프 신호 처리(Graph Signal Processing, GSP)와 극단 학습기(Extreme Learning Machine, ELM)를 융합하여, 회귀 문제에서 그래프 기반 정규화를 통한 성능 향상을 목표로 한다. 먼저, 기존 ELM의 구조와 학습 방식을 간략히 소개한다. ELM은 입력층, 은닉층(K개의 무작위 비선형 변환을 수행하는 뉴런), 그리고 출력층으로 구성되며, 은닉층 파라미터는 사전에 확률분포에 따라 무작위로 설정하고, 출력 가중치 W만을 정규화된 최소제곱 문제를 풀어 학습한다. 이때 손실식은 ‖T−HW‖_F²+α‖W‖_F² 로 표현된다. 논문은 목표 출력이 그래프 위에서 부드러운 신호라는 가정을 추가한다. 그래프 G=(V,E,A)와 라플라시안 L=D−A를 정의하고, 신호 y의 부드러움을 ℓ(y)=yᵀLy 로 측정한다. 이를 기반으로 손실식에 β∑ₙℓ(yₙ) 라는 그래프 스무딩 항을 추가하여 새로운 최적화 문제 C(W)=‖T−HW‖_F²+α‖W‖_F²+β∑ₙℓ(yₙ) 를 제시한다. 여기서 yₙ=Wᵀh(xₙ) 이다. 수식 전개를 통해 C(W)를 행렬 형태로 정리하면 C(W)=tr((T−HW)ᵀ(T−HW))+αtr(WᵀW)+βtr(WᵀHᵀHLH W) 가 된다. W에 대해 미분하고 0으로 두면 (HᵀH+αI)W+βHᵀHLW=HᵀT 라는 선형 방정식이 도출된다. 이를 Kronecker product을 이용해 vec(W) 형태로 변형하면 vec(W)=D⁻¹vec(HᵀT) 로 표현되며, D=I_M⊗(HᵀH+αI)+βL⊗HᵀH 로 정의된다. β=0이면 D는 I_M⊗(HᵀH+αI) 로 단순화되어 기존 ELM과 동일함을 확인한다. 이론적 해석에서는 D를 고유값 분해하여, ELMG(ELM over Graph)의 출력이 입력 공간(H)과 그래프 공간(L)의 주성분을 동시에 축소하는 효과를 갖는다고 설명한다. 구체적으로, H의 특이값 σ_i와 L의 고유값 λ_j에 따라 스케일링 계수 ζ_{ij}=1/