Integrated Photonic Tensor Processing Unit for a Matrix Multiply: a Review

📝 Abstract

The explosion of artificial intelligence and machine-learning algorithms, connected to the exponential growth of the exchanged data, is driving a search for novel application-specific hardware accelerators. Among the many, the photonics field appears to be in the perfect spotlight for this global data explosion, thanks to its almost infinite bandwidth capacity associated with limited energy consumption. In this review, we will overview the major advantages that photonics has over electronics for hardware accelerators, followed by a comparison between the major architectures implemented on Photonics Integrated Circuits (PIC) for both the linear and nonlinear parts of Neural Networks. By the end, we will highlight the main driving forces for the next generation of photonic accelerators, as well as the main limits that must be overcome.

💡 Analysis

The explosion of artificial intelligence and machine-learning algorithms, connected to the exponential growth of the exchanged data, is driving a search for novel application-specific hardware accelerators. Among the many, the photonics field appears to be in the perfect spotlight for this global data explosion, thanks to its almost infinite bandwidth capacity associated with limited energy consumption. In this review, we will overview the major advantages that photonics has over electronics for hardware accelerators, followed by a comparison between the major architectures implemented on Photonics Integrated Circuits (PIC) for both the linear and nonlinear parts of Neural Networks. By the end, we will highlight the main driving forces for the next generation of photonic accelerators, as well as the main limits that must be overcome.

📄 Content

인공지능(AI)과 머신러닝(ML) 알고리즘이 급격히 폭발하면서, 동시에 전 세계적으로 교환되는 데이터 양이 기하급수적으로 증가하고 있다. 이러한 현상은 기존의 범용 프로세서나 GPU와 같은 전통적인 전자 기반 하드웨어만으로는 처리 효율성의 한계에 부딪히게 만들고, 특정 응용 분야에 최적화된 전용 가속기(accelerator)를 찾는 연구와 개발을 강력히 촉진하고 있다.

그 중에서도 포토닉스(광학) 분야는 거의 무한에 가까운 대역폭(bandwidth)과 비교적 낮은 에너지 소비(energy‑efficiency)라는 두드러진 장점을 가지고 있기 때문에, 현재 진행 중인 데이터 폭발 현상에 가장 적합한 솔루션으로 각광받고 있다. 광학 신호는 전자 신호에 비해 전송 손실이 적고, 파장의 다양성을 활용해 동시에 수천 개에서 수만 개의 채널을 병렬 처리할 수 있다. 또한, 광학 소자는 전류 흐름이 거의 없기 때문에 열 발생이 최소화되어, 고밀도 집적이 요구되는 대규모 신경망 연산에서도 전력 소모를 크게 억제할 수 있다.

본 리뷰에서는 먼저 포토닉스가 전자 기반 하드웨어 가속기에 비해 갖는 주요 장점을 체계적으로 정리한다. 여기에는 (1) 대역폭의 물리적 한계가 사실상 존재하지 않는다는 점, (2) 전송 지연(latency)이 전자 회로에 비해 현저히 짧다는 점, (3) 광학 소자 자체가 전력 소모가 낮아 에너지 효율이 뛰어나다는 점, (4) 파장 다중화와 같은 기술을 통해 동일한 물리적 면적에 더 많은 연산 유닛을 집적할 수 있다는 점 등을 포함한다. 이러한 장점들은 특히 대규모 매개변수를 가진 딥러닝 모델을 실시간으로 학습하거나 추론해야 하는 상황에서 큰 차별성을 만든다.

다음으로는 포토닉스 집적 회로(Photonic Integrated Circuit, PIC) 위에 구현된 신경망의 선형(linear) 및 비선형(nonlinear) 연산 부문에 대한 주요 아키텍처들을 비교·분석한다. 선형 연산 부분에서는 광학 매트릭스 연산, 푸리에 변환 기반 컨볼루션, 그리고 광학 가중치 저장소를 이용한 매트릭스‑벡터 곱(MVM) 구조가 대표적이다. 이들 구조는 광학 파라미터(예: 위상, 진폭)를 직접 조절함으로써 가중치를 실시간으로 업데이트하고, 광학 간섭 현상을 이용해 고속으로 선형 변환을 수행한다. 비선형 연산 부분에서는 광학 비선형성(예: 카르시어 효과, 포톤-포톤 상호작용)이나 전자‑광학 변환(E/O, O/E) 장치를 활용한 활성화 함수(activation function) 구현 방법이 논의된다. 최근 연구에서는 광학 스위치와 마이크로링 공진기(microring resonator)를 결합해 시그모이드, ReLU, 하이퍼볼릭 탄젠트 등 다양한 비선형 함수를 저전력으로 구현하는 시도가 활발히 진행되고 있다.

마지막으로 차세대 포토닉 가속기의 주요 추진 요인과 극복해야 할 핵심 제한점을 조명한다. 추진 요인으로는 (①) 데이터 센터와 엣지 컴퓨팅 환경에서 요구되는 초고속·초저전력 연산 요구, (②) 기존 전자 공정과의 하이브리드 통합을 통한 설계 유연성, (③) 광학 부품의 대량 생산 및 비용 절감 기술의 성숙, (④) 양자 얽힘 및 광자 기반 메모리와 같은 차세대 기술과의 시너지 효과 등이 있다. 반면에 현재 직면하고 있는 제한점으로는 (①) 광학 비선형 소자의 효율성 및 스위칭 속도 한계, (②) 광학 신호와 전자 신호 간 변환 과정에서 발생하는 추가 지연 및 전력 손실, (③) 온도 변동에 민감한 광학 파라미터의 안정성 확보, (④) 대규모 PIC 설계 시 발생하는 설계 복잡도와 제조 공정의 수율(yield) 문제 등이 있다. 이러한 과제들을 해결하기 위해서는 재료 과학, 회로 설계, 시스템 아키텍처, 그리고 알고리즘 수준에서의 공동 연구가 필수적이며, 특히 광학‑전자 공동 최적화(co‑design) 접근법이 앞으로의 발전을 이끌 핵심 전략으로 부각되고 있다.

요약하면, 데이터 양이 폭발적으로 증가하고 인공지능 모델이 점점 더 복잡해짐에 따라, 포토닉스 기반 하드웨어 가속기는 전자 기반 솔루션이 감당하기 어려운 대역폭·지연·전력 문제를 근본적으로 해결할 수 있는 유망한 대안이다. 본 리뷰는 포토닉스가 제공하는 물리적 이점과 현재 구현된 주요 아키텍처들을 종합적으로 정리함으로써, 차세대 광학 가속기 연구자들이 직면한 도전 과제와 향후 연구 방향을 명확히 제시하고자 한다.