행렬 표기법으로 보는 역전파 알고리즘

초록

본 논문은 피드포워드 신경망의 출력 함수에 대한 기울기를 순수 행렬 연산만으로 표현한다. 스칼라 경우와 일반 다층 경우를 각각 전개하고, Hadamard 곱, 전치, Kronecker 곱 등을 이용해 재귀적이면서도 비재귀적인 형태의 역전파 공식을 제시한다. 또한, 편미분 규칙과 행렬 미분의 일관된 표기법을 정립하여 기존 좌표별 전개와 비교했을 때 인덱스 사용을 최소화한다.

상세 분석

논문은 먼저 입력 벡터를 열벡터로 두고, 각 층의 비선형 변환을 좌표별 함수 Σ_i 로, 선형 변환을 행렬 W_i 로 정의한다. 이때 Σ_i 는 원소별 활성화 함수들의 집합이며, Hadamard 곱(∘)을 통해 입력 벡터와 직접 결합한다는 점이 특징이다. 저자는 전통적인 역전파가 좌표별 인덱스와 합성곱 형태로 복잡해지는 문제를 해결하고자, 체인 룰을 행렬 형태로 직접 적용한다.

스칼라(1‑차원) 경우에는 모든 W_i 가 실수 w_i 로 축소되고, 연쇄 미분을 통해 ∇w_i 를 단계별로 전파한다. 여기서 Δ_i 라는 중간 변수(오차 전파량)를 도입해 ∇w_i = Δ_i·σ_{i‑1} 로 재귀적으로 표현한다. 이는 전통적인 백프로파게이션의 δ‑전파와 동일하지만, 행렬 표기법을 사용함으로써 수식이 더 간결해진다.

다층 일반 경우에서는 세 종류의 행렬 곱을 도입한다. 일반적인 열‑행 곱(A·B), 원소별 Hadamard 곱(A∘B), 그리고 “역전” 곱(A•B = B·A)이다. 이를 통해 식 (3)에서 각 층의 가중치에 대한 기울기 ∇W_i 를 Σ’k·W_k^T 와 같은 형태로 나타낸다. 특히, 기울기 전파 과정은 Δ_i = (W{i+1}^T·Δ_{i+1})∘Σ’i 로 정의되며, Δ{k+1}=1 로 초기화한다. 이렇게 하면 ∇W_i = Δ_i·Σ_{i‑1}^T 로 간단히 표현된다.

또한, 저자는 Kronecker 곱(⊗)을 이용해 (4)와 (5) 형태의 비재귀적 표현을 제시한다. 여기서는 Σ’_i 를 대각 행렬 bΣ’_i 로 치환해 Hadamard 곱을 제거하고, 전체 기울기를 하나의 큰 Kronecker 곱 연산으로 압축한다. 이는 구현 시 메모리 효율성을 높일 수 있는 장점이 있다.

증명 부분에서는 행렬 미분 규칙 ∇_A(A·B)=B^T 를 사용해 (6)과 (7)을 도출한다. 좌표별 전개와 비교했을 때 인덱스가 사라지고, 행렬 연산만으로 동일한 결과를 얻을 수 있음을 보인다. 다만, 논문 전반에 걸쳐 수식 표기가 다소 혼란스러우며, 일부 기호(예: “•”)가 정의와 사용이 일관되지 않아 독자가 따라가기 어려운 점이 있다. 또한, 실제 구현 예시나 실험 결과가 전혀 제시되지 않아 이론적 기여가 실용성에 얼마나 연결되는지는 불분명하다. 그럼에도 불구하고, 행렬 기반 역전파를 체계적으로 정리한 점은 교육용 교재나 자동 미분 라이브러리 설계에 유용할 수 있다.