주의 기반 회귀 모델의 상관관계 정체 현상과 해결 방안

초록

본 논문은 평균제곱오차(MSE)와 피어슨 상관계수(PCC)를 동시에 최적화할 때 나타나는 “PCC 플래토” 현상을 이론적으로 분석한다. 저자는 MSE 최적화가 PCC 그래디언트를 억제하는 최적화 충돌과, 소프트맥스 어텐션이 입력의 볼록 껍질 안에만 결과를 제한하는 모델 용량 한계를 제시한다. 이를 극복하기 위해 제안된 Extrapolative Correlation Attention(ECA)는 분산 정규화 PCC 손실, 분산 인식 온도 소프트맥스, 스케일드 잔차 집계 세 가지 메커니즘을 도입해, 동질적인 데이터에서도 PCC 플래토를 깨고 상관관계를 크게 향상시킨다.

상세 분석

논문은 먼저 MSE와 PCC 사이의 수학적 관계를 제시한다. Proposition 2.1에 따르면 MSE는 평균 차이, 표준편차 차이, 그리고 2σ_yσ_ŷ(1‑ρ) 형태의 가중 상관항으로 분해된다. 이때 PCC는 스케일·이동에 불변이므로, MSE 최적화가 주로 평균·표준편차 맞춤에 집중하면 ρ 자체는 크게 변하지 않아 “플래토”가 발생한다는 직관을 정량화한다.

다음으로 저자는 어텐션 로그잇 z에 대한 그래디언트를 상세히 유도한다. Lemma 2.2는 소프트맥스 어텐션이 입력 임베딩 h와 가중치 α를 통해 v = ∑α_i h_i 로 집계되며, ∂v/∂z_i = α_i(h_i‑v)임을 보여준다. 이를 이용해 PCC와 MSE의 그래디언트를 각각 (2)와 (3) 형태로 얻는다. 두 그래디언트는 동일한 로컬 구조인 L_i = α_i wᵀ(h_i‑v)를 공유하지만, 전역 스케일링 팩터 g_PCC와 g_MSE가 크게 다르다. 특히 g_PCC = (1/σ̂_y)