SFA 구현 sfa‑tk의 수치 안정성 문제와 해결 방안

초록

본 논문은 MATLAB 기반 오픈소스 SFA 구현체 sfa‑tk가 비선형 확장 데이터의 공분산 행렬이 완전 순위가 아닐 때 발생하는 수치 불안정을 지적한다. 저자는 특이값 분해(SVD)를 활용한 수정 알고리즘을 제안하여 순위가 10 % 이하인 경우에도 안정적으로 동작하도록 하였으며, 작은 잡음 주입을 통한 대안도 검토하지만 데이터 변형과 파라미터 튜닝이 필요함을 강조한다.

상세 분석

Slow Feature Analysis(SFA)는 고차원 시계열 데이터에서 시간에 따라 천천히 변하는 내재적 특성을 추출하는 비지도 학습 기법으로, 입력 데이터를 비선형적으로 확장한 뒤 공분산 행렬을 정규화하고, 그 결과에 대한 최소 변동성 방향을 찾는 과정으로 구현된다. sfa‑tk는 이러한 절차를 MATLAB 함수 집합으로 제공하며, 특히 공분산 행렬의 고유값 분해(EVD)를 이용해 변동 최소화 문제를 풀어낸다. 그러나 EVD는 행렬이 완전 순위(full‑rank)일 때만 수치적으로 안정적이며, 순위가 낮아지면 작은 고유값에 대한 정밀도가 급격히 떨어진다. 논문은 비선형 확장 단계에서 차원이 급격히 증가하면서 데이터 샘플 수에 비해 차원이 과도하게 커지는 경우, 즉 차원 저주현상이 발생하면 공분산 행렬이 사실상 저계수(rank‑deficient) 상태가 된다는 점을 실험적으로 입증한다. 이때 sfa‑tk는 고유값이 0에 가깝거나 정확히 0인 경우 역행렬 연산에서 ‘NaN’ 혹은 ‘Inf’를 발생시키고, 최종 추출된 느린 특징이 의미를 상실한다.

저자는 이러한 문제를 해결하기 위해 두 가지 접근법을 제시한다. 첫 번째는 고유값 분해 대신 특이값 분해(SVD)를 적용하는 것이다. SVD는 행렬의 순위와 무관하게 모든 특이값을 정확히 계산하며, 작은 특이값에 대한 정규화도 안정적으로 수행한다. 논문은 SVD 기반 알고리즘을 기존 파이프라인에 삽입한 뒤, 순위가 전체 차원의 10 % 이하인 극단적인 상황에서도 정확한 느린 특징을 복원함을 보여준다. 두 번째 접근법은 입력 데이터에 미세한 가우시안 잡음을 추가해 공분산 행렬의 순위를 인위적으로 높이는 방법이다. 잡음 주입은 행렬을 완전 순위로 만들지만, 원본 신호에 왜곡을 도입하고, 잡음 강도(σ)의 선택이 결과에 큰 영향을 미친다. 따라서 잡음 기반 방법은 빠른 해결책으로는 유용하지만, 최종 모델의 해석 가능성을 저해한다는 한계가 있다.

실험에서는 합성 데이터와 실제 센서 데이터 두 가지 시나리오를 사용하였다. 합성 데이터에서는 차원 수를 500으로 설정하고 샘플 수를 200으로 제한해 순위가 5% 수준으로 떨어지는 경우를 만들었다. 기존 sfa‑tk는 고유값이 0에 가까워지면서 수치 오류가 발생했으나, SVD 기반 구현은 모든 특이값을 안정적으로 처리해 기대한 느린 특징을 정확히 복원했다. 실제 데이터에서는 움직임 센서와 음성 신호를 결합한 멀티모달 입력을 사용했으며, 비선형 확장 후 공분산 행렬의 조건수가 10⁸을 초과하는 상황에서도 SVD 구현은 정상적으로 동작했다. 반면 잡음 주입 방식은 σ=10⁻⁴ 정도에서 충분히 순위를 회복했지만, 신호‑대‑잡음비(SNR)가 20 dB 이하로 감소하면서 특징 추출 성능이 눈에 띄게 저하되었다.

결론적으로, 논문은 sfa‑tk의 기존 구현이 순위 결핍 상황에서 근본적인 수치 불안정을 내포하고 있음을 밝히고, SVD 기반 알고리즘이 이러한 문제를 근본적으로 해결한다는 점을 입증한다. 또한 잡음 주입은 임시 방편일 뿐, 파라미터 튜닝과 데이터 변형이라는 부작용을 동반한다는 점을 강조한다. 향후 연구에서는 SVD와 정규화 기법을 결합한 하이브리드 접근법이나, 저차원 근사화를 통한 메모리 효율성 개선 방안도 탐색할 가치가 있다.