광학 기반 물리 정보 신경망의 확장 가능한 역전파 프리 학습

초록

본 논문은 실리콘 포토닉스 플랫폼에서 역전파 없이 대규모 물리 정보 신경망(PINN)을 학습하기 위한 새로운 프레임워크를 제시한다. 핵심은 (1) 희소 격자 스테인 파생 추정기를 이용해 PINN 손실의 고차 미분 항을 역전파 없이 계산하고, (2) 텐서‑트레인 분해를 활용한 차원 축소 제로‑오더 최적화로 학습 수렴성을 향상시키며, (3) 포토닉 텐서 코어 기반의 확장 가능한 온칩 가속기를 설계한다. 저자는 저차원 및 고차원 PDE 벤치마크에서 알고리즘을 검증하고, 실제 포토닉 디바이스 파라미터를 사용한 사전 실리콘 시뮬레이션을 통해 실시간 학습 및 면적 절감 효과를 입증한다.

상세 분석

이 연구는 두 가지 차원에서 역전파‑프리(PB‑free) 학습을 구현한다. 첫 번째 레벨은 손실 함수 평가 단계에서 고차 미분을 필요로 하는 PINN의 특성을 고려해, 스테인 추정기를 기반으로 한 Gaussian smoothing 기법을 도입한다. 기존 Monte‑Carlo 방식은 수천 번의 함수 호출이 필요했지만, 저자들은 희소 격자(sparse‑grid) 수치 적분을 적용해 필요한 샘플 수를 급격히 감소시켰다. 구체적으로, 일차 및 라플라시안 연산을 확률적 미분 형태로 변환하고, 다중 차원 적분을 Smolyak 알고리즘 기반의 희소 격자 규칙으로 근사한다. 이 과정은 포토닉 회로에서 전광학적으로 함수값을 평가하는 횟수를 최소화해, 메모리 없이도 정확한 파생값을 얻을 수 있게 한다.

두 번째 레벨은 파라미터 업데이트 단계이다. 제로‑오더 최적화(ZO‑SGD)는 파라미터 공간의 차원 d가 커질수록 분산이 O(d/N)으로 증가해 수렴이 느려지는 문제가 있다. 이를 해결하기 위해 저자들은 텐서‑트레인(TT) 분해를 이용해 파라미터 텐서를 저차원 코어 텐서와 행렬 곱으로 압축한다. 압축된 코어 텐서는 차원 축소된 공간에서 무작위 방향 ξ_i 를 샘플링해 함수값 차이를 측정함으로써, 기존 ZO‑RGE보다 훨씬 낮은 분산을 달성한다. 또한, 변동 감소(variance reduction) 기법을 결합해 학습 초기에 큰 스텝을 유지하면서도 안정적인 수렴을 보장한다.

하드웨어 측면에서는 기존 포토닉 매트릭스 곱 가속기가 64×64 규모에 제한됐던 문제를 텐서 코어 설계로 확장한다. 텐서 코어는 MZI 기반의 기본 MAC 유닛을 텐서‑트레인 구조에 맞게 재배열하고, 디지털 컨트롤러가 파라미터 샘플링 및 업데이트 로직을 담당한다. 두 가지 구현 옵션이 제시되는데, 하나는 전체 모델을 단일 칩에 배치해 고정된 파라미터 집합을 동시에 처리하고, 다른 하나는 단일 텐서 코어를 시간 다중화(time‑multiplex)하여 대규모 파라미터를 순차적으로 학습한다. 설계 시 MZI 수를 기존 대비 42.7배 감소시켰으며, 전력 소모와 면적 효율성에서도 큰 개선을 보였다.

실험에서는 저차원(2‑D) 파동 방정식부터 고차원(10‑D) Black‑Scholes 옵션 가격 모델까지 다양한 PDE를 대상으로 정확도와 수렴 속도를 평가했다. 역전파 기반 PINN과 비교했을 때 손실 감소율은 비슷하거나 약간 낮았지만, 학습 시간은 GPU 기반 구현 대비 2‑3배 가량 단축되었으며, 포토닉 가속기 시뮬레이션에서는 1.64초 만에 Black‑Scholes PDE를 해결하는 등 실시간 요구사항을 충족했다.

이 논문의 주요 기여는 (1) 스테인 파생 추정과 희소 격자를 결합해 메모리 없이 고차 미분을 정확히 계산하는 방법, (2) 텐서‑트레인 기반 차원 축소 제로‑오더 최적화로 대규모 파라미터 학습을 가능하게 한 알고리즘, (3) 이러한 알고리즘을 실제 포토닉 하드웨어에 매핑해 확장 가능한 온칩 학습 가속기를 설계한 점이다. 특히, 메모리 제한과 대규모 MZI 배열 문제를 동시에 해결한 점은 포토닉 AI 분야에서 중요한 전진으로 평가된다.