딥러닝과 트랜스포머를 활용한 행렬 함수 근사

초록

본 논문은 ReLU 피드포워드 신경망과 트랜스포머 인코더‑디코더를 이용해 행렬 지수, 로그, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사인·코사인, 사음

상세 분석

본 논문은 두 가지 주요 축을 가지고 있다. 첫 번째는 ReLU 기반 피드포워드 신경망이 행렬 지수 함수(e^A)를 임의의 정밀도로 근사할 수 있다는 이론적 증명을 제공한다는 점이다. 저자들은 테일러 급수를 이용해 e^A를 유한 항까지 자르고, 남은 꼬리항을 ϵ/2 이하로 제한한다. 그 후, 행렬 곱셈을 항별로 전개한 뒤, 각 항을 곱셈 연산을 근사하는 ReLU 네트워크(Adcock et al.의 Lemma 7.1)로 구현한다. 이 과정에서 행렬 차원 n과 입력 범위 M에 따라 필요한 네트워크 폭이 O(K·n^K) 형태로, K는 테일러 차수이며 사실상 n·M에 대한 지수적 성장이다. 깊이는 O(K·log K·(log(K/ϵ)+log n+log M)) 로, K에 대해 거의 선형이며 로그 보정이 있다. 이론적으로는 “폭이 지수적이지만 깊이는 선형”이라는 특성을 갖는 네트워크가 존재함을 보이지만, 실제 구현에서는 폭이 급격히 커져 실용성이 떨어진다. 논문은 이 점을 인정하고 실험에서는 해당 구조를 구현하지 않았다.

두 번째 축은 트랜스포머 인코더‑디코더가 수치 인코딩 방식을 통해 행렬 함수(특히 행렬 사인·코사인, 로그, 사인·코사인 등)를 근사할 수 있음을 실증한다는 것이다. 여기서 핵심은 부동소수점 수치를 토큰화하는 방식이다. 저자들은 네 가지 인코딩(P10, P1000, FP15, B1999)을 제안하고, 각각의 어휘 크기와 표현 정밀도가 다르다. 실험 결과는 인코딩 선택이 성능에 결정적 영향을 미친다는 것을 보여준다. 예를 들어, FP15 인코딩은 30 000개의 토큰을 갖고 행렬 사인 함수에서는 전혀 성공하지 못했지만, 행렬 사인·코사인 함수에서는 88 % 이상의 정확도를 달성했다. 반면, P10 인코딩은 어휘가 작아 로그 함수에서 74 % 정도의 정확도를 보였다. 이는 토큰화가 수치 정보의 손실을 최소화하고, 트랜스포머가 자기‑주의 메커니즘을 통해 행렬의 스펙트럼 구조를 파악하도록 돕는다는 가설을 뒷받침한다.

하지만 실험 설계에는 몇 가지 한계가 있다. 첫째, 실험에 사용된 행렬 차원은 3×3, 5×5 정도로 매우 작은 규모이며, 차원이 8 이상으로 갈수록 정확도가 급격히 떨어진다. 이는 현재 인코딩·모델 용량이 고차원 스펙트럼 정보를 충분히 전달하지 못한다는 신호이다. 둘째, 행렬 사인·코사인 함수는 전혀 학습되지 않았으며, 이는 급격한 진동과 주기성 때문에 손실 함수가 평탄해지는 현상이 발생했을 가능성이 있다. 셋째, ReLU DNN에 대한 이론적 결과와 실험 결과 사이의 괴리는 크게 강조되었지만, 실제 폭·깊이 조합을 구현하고 비교하는 실험이 부재하다. 마지막으로, “상대 오차 5 %”라는 정확도 기준이 실제 과학·공학 응용에서 충분히 엄격한지에 대한 논의가 부족하다.

전반적으로 논문은 “트랜스포머가 수치 연산에 활용될 수 있다”는 새로운 가능성을 제시했으며, 인코딩 설계가 핵심이라는 실증적 증거를 제공한다. 그러나 이론적 분석이 실제 구현과 괴리되고, 실험이 제한된 규모에 머무르는 점에서 향후 연구가 필요하다. 특히, 폭이 지수적으로 커지는 DNN 구조를 실제로 구현하거나, 고차원 행렬에 대한 효율적인 토큰화·프리‑트레이닝 전략을 개발하는 것이 다음 단계가 될 것이다.