입력 차원 확장을 통한 하드웨어 친화적 함수 근사 가속화

초록

**
본 논문은 1차원 입력을 상수값(π)으로 채워 고차원 벡터로 변환하는 ‘입력 공간 확장’ 기법을 제안한다. 이는 파라미터 공간의 대칭성을 깨뜨려 손실면의 평탄 구역을 감소시키고, 네트워크 파라미터 수는 그대로 유지하면서 학습 수렴 속도를 평균 12 % 가속하고 최종 MSE를 66.3 % 감소시킨다. 10가지 대표 함수(다중 주파수, 불연속, 프랙털 등)를 대상으로 한 실험과 다양한 차원·상수 선택에 대한 Ablation 연구를 통해 5차원 확장이 최적임을 확인하였다.

**

상세 분석

**
이 연구는 신경망 최적화 과정에서 흔히 발생하는 파라미터‑공간 대칭(symmetry) 문제를 물리학의 ‘대칭 깨짐(symmetry breaking)’ 개념으로 접근한다. 기존 방법들은 Dropout, 배치 정규화, 그룹 등가성 네트워크 등으로 간접적으로 대칭을 깨뜨리지만, 추가 연산·메모리 오버헤드가 발생한다. 저자는 입력 차원을 상수값으로 채워 고차원 벡터를 만든 뒤, 동일한 MLP 구조에 그대로 적용함으로써 하드웨어 친화적이며 파라미터 수를 증가시키지 않는다.

이론적으로는 2‑계층 선형 네트워크를 예시로 들어, 입력에 상수 차원을 추가하면 각 은닉 뉴런마다 고유한 편향(bias) 역할을 하는 항 w₁₂·c가 생겨 은닉 뉴런 간의 순열 대칭이 깨진다. 순열 변환 후 출력이 달라지므로 손실면에 평탄한 등가 최소점이 사라지고, 최적화 경로가 더 직접적이며 기울기 정보가 풍부해진다.

실험 설계는 매우 체계적이다. 10가지 함수는 부드러운 C∞ 함수부터 미분 불가능 프랙털(Weierstrass)까지 다양하게 선정했으며, 각 함수마다 1000개의 학습 샘플과 100개의 테스트 샘플을 사용한다. 입력 차원은 1D(기본), 3D, 5D, 7D 네 가지로 확장하고, 파라미터 수를 맞추기 위해 폭을 조정한 ‘Adj’ 모델도 포함한다. 이렇게 함으로써 “추가 파라미터가 성능을 올리는가?”와 “입력 확장이 실제로 대칭을 깨뜨려 이득을 주는가?”를 명확히 구분한다.

결과는 5D 확장이 가장 큰 효과를 보이며, 평균 LBFGS 반복 횟수를 12 % 감소시키고 최종 MSE를 66.3 % 낮춘다. 특히 고주파 성분이 강한 F1, F5, F6 등에서 수렴 속도가 크게 개선되고, 프랙털 함수(F9)와 같이 손실면이 복잡한 경우에도 안정적인 수렴을 보인다. Ablation 실험에서는 상수값을 π, e, 0 등으로 바꾸어 보았지만, π가 가장 일관된 성능 향상을 제공한다. 이는 π가 정의역