광학 프론트엔드 기반 하이브리드 CNN 설계와 성능 평가

초록

본 논문은 메타표면 기반 4f 광학 시스템을 이용해 CNN의 첫 번째 합성곱 층을 광학적으로 구현하고, 이후 층은 전자적으로 처리하는 하이브리드 구조를 제안한다. 단일 전·광 변환만으로도 대규모 이미지와 커다란 커널에 대해 전통적인 전자식 구현보다 빠르고 에너지 효율적인 성능을 보이며, AlexNet 변형 모델을 이용한 고양이·개 이미지 분류에서 87 % 이상의 정확도를 달성하였다.

상세 분석

이 연구는 광학과 전자공학을 결합한 새로운 CNN 구현 방식을 제시한다는 점에서 의미가 크다. 먼저, 4f 시스템은 두 개의 렌즈 사이에 푸리에 변환 마스크를 배치함으로써 입력 이미지의 푸리에 스펙트럼에 직접 곱셈을 수행한다. 이때 마스크는 메타표면 기반 위상·진폭 조절이 가능한 복소값 전송 함수를 구현하도록 설계되었으며, 서브픽셀 수준의 체커보드 패턴을 이용해 임의의 복소값을 근사한다. 이러한 접근은 기존 SLM(공간광변조기)보다 픽셀 크기를 크게 줄일 수 있어 고해상도 이미지 처리에 유리하다.

광학 프론트엔드에서는 색상별(레드·그린·블루) 96개의 커널을 동시에 처리하기 위해 렌즈렛 배열을 사용한다. 각 4f 유닛은 독립적으로 동작하도록 설계되었으며, 시뮬레이션 결과 주변 유닛으로의 광 누설(crosstalk)이 1 % 미만으로 매우 낮아 실제 구현 시 배열 간 간격을 최소화할 수 있다. 이는 시스템 전체 면적을 크게 줄이고, 메타표면 제조 공정(스테퍼 리소그래피)으로 대량 생산이 가능함을 의미한다.

연산 복잡도 측면에서, 전통적인 전자식 합성곱은 입력 픽셀 수 N과 커널 크기 K에 대해 O(N·K) 연산을 필요로 한다. 반면 광학 프론트엔드는 빛이 렌즈를 통과하는 시간(≈10 ps)과 검출·전송 지연(≈2.3 ms)만을 고려하면, 입력 이미지 크기에 거의 독립적인 처리 시간을 제공한다. 따라서 이미지가 500×500 픽셀(25만) 이상일 때부터 전체 처리 시간이 GPU 기반 AlexNet보다 유리해진다.

에너지 효율성도 중요한 장점이다. 광학 연산 자체는 패시브이므로 전력 소모가 거의 없으며, 주요 전력 소비는 레이저 소스와 검출기, 그리고 전·광 변환 단계에 국한된다. 논문에서는 전자식 전체 CNN 대비 30 % 정도 전력 절감 효과를 예측한다.

하지만 몇 가지 한계점도 존재한다. 첫째, 현재 구현은 첫 번째 합성곱 층만을 광학화했으며, 깊은 네트워크에서는 여전히 다수의 전·광 변환이 필요하다. 둘째, 메타표면 마스크는 사전 학습된 커널에 고정되므로 네트워크 재학습 시 마스크 교체가 필요하다. 셋째, 광학 시스템의 NA와 공간‑대역폭 곱(SBP)이 제한적이어서 매우 큰 이미지나 고해상도 커널을 처리하려면 렌즈 설계와 마스크 해상도를 동시에 최적화해야 한다.

전체적으로 이 논문은 메타표면 기반 4f 광학 프론트엔드가 대규모 이미지 처리에 있어 전자식 CNN을 보완할 수 있음을 실험적·시뮬레이션적으로 입증했으며, 향후 전·광 하이브리드 인공지능 하드웨어 설계에 중요한 방향성을 제시한다.