딥러닝 기반 고밀도 3D 현미경과 최적 PSF 설계

DeepSTORM3D 논문은 고밀도 3차원 단일분자 위치 측정 문제를 해결하기 위해 딥러닝과 광학 설계의 공동 최적화를 제안한다. 기존 3D 현미경에서는 깊이 정보를 얻기 위해 Tetrapod, Double‑Helix 등 특수 PSF를 사용하지만, 이러한 PSF는 크기가 커서 여러 형광점이 겹칠 경우 위치 복원이 어려워졌다. 저자들은 먼저 Tetrapod PSF를 사용한 상황에서, 2D 저해상도 이미지(겹친 PSF들의 합성)를 입력으로 받아 3D 좌표를 출력하는 컨볼루션 신경망(CNN)을 설계했다. 네트워크는 27.5 nm × 27.5 nm × 33 nm voxel 크기의 3D 확률 맵을 생성하고, 간단한 임계값과 로컬 피크 검출을 통해 최종 좌표 리스트를 만든다. 학습은 물리 기반 시뮬레이터를 이용해 신호와 배경을 포함한 대규모 합성 데이터를 사용했으며, 다양한 발광체 밀도(1 ~ 75 emitters/13 µm²)와 신호‑대‑노이즈 비율을 고려했다. 실험 결과, 전통적인 매칭 퍼슈트(MP) 방식에 비해 Jaccard 지수와 Lateral/Axial RMSE 모두에서 우수한 성능을 보였으며, 특히 밀도가 10 emitters/µm² 이상일 때 검출률이 90 %를 초과하고 축 정밀도가 50 nm 이하로 유지되었다. 두 번째로, 저자들은 “코디자인” 접근법을 도입해 PSF 자체를 학습 가능한 파라미터로 설정했다. 이미지 형성 단계에 가변 위상 마스크(프리즘) 레이어를 삽입하고, 이 레이어를 미분 가능하게 만들어 CNN과 동시에 역전파한다. 학습 과정에서 무작위 3D 점군을 시뮬레이션 이미지로 변환하고, 복원된 좌표와 실제 좌표 사이의 손실을 최소화하도록 위상 마스크와 CNN 가중치를 동시에 업데이트한다. 최종적으로 얻어진 PSF는 축 전반에 걸쳐 회전하는 스파이럴 형태를 가지며, 전통적인 Tetrapod에 비해 가로 footprint가 작아 고밀도 상황에서 겹침을 크게 감소시킨다. 시뮬레이션에서는 저밀도에서는 두 PSF가 비슷한 성능을 보였지만, 밀도가 증가할수록 학습된 PSF가 Jaccard 지수와 RMSE 모두에서 우위를 점했다. 실험 검증은 두 가지 시스템으로 수행되었다. 첫 번째는 기존 Tetrapod PSF를 구현한 고정된 fused‑silica 위상 마스크를 사용했으며, 두 번째는 학습된 위상 마스크를 SLM에 직접 로드하였다. COS‑7 세포의 미토콘드리아를 20 000 프레임(50 µm × 30 µm) 촬영해 약 360 000개의 로컬라이제이션을 10시간 내에 복원했으며, xy 해상도 40 nm, z 해상도 50 nm를 달성했다. 또한, 고정된 U2OS 세포 핵 내 텔로미어(약 20 µm 직경)를 단일 스냅샷으로 촬영했을 때, Tetrapod 기반 CNN은 49/62 검출(FA 1)로 Jaccard 0.77을 기록했고, 학습된 PSF 기반 CNN은 57/62 검출(FA 2)로 Jaccard 0.89를 기록했다. 두 경우 모두 복원된 2D 이미지와 원본 이미지가 시각적으로 일치했으며, 미검출은 주로 광학 수차나 신호 포톤 부족에 기인했다. 논문의 주요 장점은 다음과 같다. (1) 순수 시뮬레이션 데이터만으로 충분히 큰 학습 세트를 구축해 실제 실험 환경을 포괄, (2) SLM 픽셀 단위로 자유롭게 위상 마스크를 최적화해 기존 Zernike 기반 설계보다 더 넓은 설계 공간을 탐색, (3) CNN과 광학 설계를 공동 최적화함으로써 전체 시스템의 검출 효율과 정밀도를 동시에 향상시켰다. 저자들은 또한 낮은 SNR, 비정상적인 배경, 다중 컬러 채널 등 다양한 실제 상황에 대한 확장 가능성을 제시하였다. 이 연구는 고밀도 3D 단일분자 현미경 분야에서 딥러닝과 광학 설계의 통합이 새로운 표준이 될 수 있음을 보여준다.