다차원 회귀 모델의 효율적 추정: 다층 퍼셉트론 활용

이 연구는 다차원 비선형 회귀 문제를 다층 퍼셉트론(MLP)으로 모델링하고, 잡음 공분산을 사전에 알 필요 없이 효율적인 파라미터 추정 방법을 제시한다. 기본 가정은 (Yₜ, Zₜ)∈ℝᵈ×ℝᵖ의 i.i.d. 표본이며, Yₜ는 MLP 함수 F_{W⁰}(Zₜ)와 평균 0, 공분산 Γ₀인 잡음 εₜ의 합으로 표현된다. 전통적인 평균제곱오차(MSE) 최소화는 Γ₀가 단위행렬이 아닐 경우 비효율적이며, 일반화 최소제곱(GLS)은 Γ₀⁻¹을 필요로 하지만 실제로는 Γ₀를 알기 어렵다. 이에 저자는 경험적 오차 공분산 행렬 Γ̂ₙ(W)=1/n∑ₜ (Yₜ−F_W(Zₜ))(Yₜ−F_W(Zₜ))ᵀ의 로그 행렬식을 비용함수 Uₙ(W)=log det Γ̂ₙ(W)로 정의하고, 이를 최소화하는 파라미터 ˆWₙ를 추정한다. 논문은 행렬 미분법을 이용해 Uₙ(W)의 1차·2차 도함수를 상세히 전개한다. 1차 도함수는 ∂Uₙ/∂W_k = 2 tr