정확한 레이블 학습을 위한 그래프 기반 SFA 설계와 최적 자유 응답 분석

본 논문은 느린 특징 분석(SFA)의 지도학습 확장인 그래프 기반 SFA(GSFA)의 이론적 기반을 심도 있게 탐구하고, 레이블 값을 정확히 반영하는 새로운 그래프 설계 방법인 ‘정확한 레이블 학습(ELL)’을 제안한다. 먼저 서론에서는 슬로우니스 원칙이 뇌의 자기 조직화 메커니즘을 설명하는 가설적 배경을 제시하고, 기존 GSFA가 샘플 간의 순위 정보만을 이용해 그래프를 구성함으로써 레이블의 실제 값을 활용하지 못하는 한계를 지적한다. 이를 극복하기 위해 레이블 자체를 그래프의 최적 자유 응답으로 만들고자 하는 목표를 설정한다. 이후 2절에서는 GSFA의 수학적 정의와 최적화 문제를 정리한다. 정점 가중치 vₙ와 간선 가중치 γₙₙ′을 포함한 그래프 G=(V,E) 위에서, 목표는 가중 평균 제로, 가중 분산 1, 그리고 서로 다른 특징 간의 가중 직교성을 만족하면서 가중 제곱 차이 ∆를 최소화하는 변환 함수 gⱼ(x) 를 찾는 것이다. 이때 사용되는 샘플 공분산 행렬 C_G와 차분 공분산 행렬 ˙C_G는 그래프 구조에 따라 정의되며, 전통적인 SFA와 달리 그래프의 전이 확률에 대응한다. 3절에서는 자유 함수 공간이 제한되지 않은 경우의 ‘최적 자유 응답(optimal free responses)’을 선형대수적으로 도출한다. 변분법 대신, 라플라시안 행렬 L=Q⁻¹(Γ−D)와 정점 가중치 행렬 V를 이용해 일반화 고유값 문제 Lf=λVf 형태로 변환한다. 이때 가장 작은 고유값에 대응하는 고유벡터가 첫 번째 느린 특징이 되며, 이는 그래프가 정의하는 라벨 구조와 직접 연결된다. ‘정확한 레이블 학습(ELL)’ 방법은 이러한 이론을 역으로 적용한다. 목표 라벨 ℓ를 먼저 평균 0, 분산 1 로 정규화하고, ℓ를 첫 번째 고유벡터가 되도록 그래프의 간선 가중치를 설계한다. 구체적으로, ℓℓᵀ를 목표 라플라시안 형태와 일치시키기 위해 γₙₙ′=α(ℓₙ−ℓₙ′)² 형태의 가중치를 부여한다(α는 스케일 파라미터). 이렇게 구성된 그래프를 GSFA에 입력하면, 첫 번째 느린 특징 y₁은 ℓ와 선형 스케일링만 차이가 나는 형태가 된다. 추가적인 보조 라벨(예: 피부색, 조명 조건 등)을 동시에 포함시키려면, 각 라벨에 가중치 βᵢ를 부여해 복합 라플라시안을 구성하고, 주요 라벨에 높은 β를 할당함으로써 학습 과정에서 우선순위를 조절한다. 4절에서는 세 가지 실험을 통해 ELL의 실효성을 검증한다. 첫 번째 실험에서는 인공 얼굴 이미지(성별 라벨)와 피부색 라벨을 이용해 회귀 문제를 설정한다. ELL 그래프는 성별 라벨을 직접 추출하도록 설계되었으며, 보조 라벨인 피부색을 추가함으로써 평균 절대 오차가 기존 Serial 그래프 대비 12% 감소하였다. 두 번째 실험에서는 기존의 Serial 그래프와 Clustered 그래프를 이론적으로 분석한다. 최적 자유 응답을 구해 보면, Serial 그래프는 라벨을 구간별 평균으로 근사하는 반면, Clustered 그래프는 클래스별 단계 함수 형태를 만든다. 그러나 두 그래프 모두 라벨의 실제 연속값을 반영하지 못해 회귀 정확도가 제한된다. 세 번째 실험에서는 교통 표지판 이미지(다중 클래스)에서 압축된 특징을 추출한다. ELL 그래프를 사용해 log₂(C)−2 개의 특징만으로도 94% 이상의 정확도를 달성했으며, 이는 비선형 Fisher Discriminant와 동등하거나 더 높은 성능을 보였다. 마지막으로 논의에서는 ELL 그래프가 사전 정의된 그래프보다 O(N²) 연결을 필요로 하지만, 행렬 연산의 효율성과 고차원 데이터에 대한 계층적 적용 가능성 때문에 실용적이라고 평가한다. 또한, 다중 라벨 학습, 보조 라벨 활용, 그리고 HGSFA와의 결합을 통해 복잡한 비선형 회귀·분류 문제에 대한 새로운 설계 패러다임을 제공한다는 점을 강조한다.