노이즈가 많은 전자현미경 이미지에서 원자 깊이 추정 딥러닝

초록

본 논문은 TEM 이미지에 섞인 높은 포아송 노이즈를 극복하고, 원자 기둥의 깊이(원자 수)를 픽셀 단위로 추정하기 위해 깊이 추정을 의미론적 분할 문제로 재정의하고, 시뮬레이션 데이터로 학습한 UNet 기반 네트워크인 SegDepth를 제안한다. 시뮬레이션과 실제 CeO₂ 나노입자 데이터를 통해 정확도, 캘리브레이션, 노이즈 강인성을 검증하였다.

상세 분석

이 연구는 전통적인 전자단층촬영(electron tomography)이 요구하는 다중 각도 촬영과 긴 획득 시간을 회피하고, 단일 프레임 TEM 이미지만으로 3차원 원자 구조 정보를 복원하려는 시도이다. 핵심 아이디어는 “깊이 추정 = 의미론적 분할”이라는 수학적 변환이다. 원자 기둥마다 포함된 원자 수를 0~10개의 이산 레이블로 정의하고, 각 픽셀에 해당 레이블을 할당하는 분할 맵을 목표로 삼는다. 이는 기존 깊이 추정 연구에서 흔히 보는 연속값 회귀와 달리, 레이블 간 경계가 명확하고 손실 함수 설계가 간단해지는 장점을 제공한다.

데이터 생성 단계는 두 가지 중요한 요소를 포함한다. 첫째, 실제 실험에 근접하도록 CeO₂(110) 표면을 다양한 형태(평면, 톱니, 계단)와 두께(3~10 원자)로 모델링하고, 멀티슬라이스 시뮬레이션(Dr. Probe)으로 고해상도 TEM 이미지를 생성한다. 둘째, 실험적 저노출 조건을 모사하기 위해 포아송 노이즈를 가중치 λ에 따라 가감한다. λ 값이 클수록 SNR이 높아지고, 작은 λ은 극저노이즈 상황을 재현한다. 이렇게 만든 깨끗한 이미지와 노이즈 이미지 쌍을 각각 깊이 마스크와 대응시켜 학습용 데이터셋을 구축한다.

네트워크 아키텍처는 UNet을 기반으로 하며, 6단계 다운샘플링/업샘플링 구조에 추가적인 2단계 다운샘플링 레이어를 삽입해 출력 차원을 깊이 레이블 수와 일치시킨다. 중간에 4×4 커널의 중간값 필터링을 적용해 인접 픽셀 간 일관성을 강화하고, 최종 Softmax를 통해 각 레이블에 대한 확률 분포를 얻는다. 손실 함수는 크로스 엔트로피와 함께 레이블 불균형을 보정하기 위한 가중치를 사용한다.

실험 결과는 두 축으로 평가된다. (1) 시뮬레이션 데이터에 대한 정량적 평가에서는 평균 절대 오차(MAE), 정확도, 그리고 캘리브레이션 곡선(예측 확률 vs 실제 빈도)에서 0.2 원자 이하의 오차와 95% 이상의 캘리브레이션을 달성했다. (2) 실제 TEM 데이터에 적용했을 때는, 고전적인 이미지-시뮬레이션 매칭 방식보다 약 30% 높은 정확도를 보였으며, 특히 경계부와 얇은 영역에서 불확실성(Confidence) 지표가 낮아지는 현상을 정량적으로 분석했다. Confidence는 논문에서 제시한 식(5) 기반의 엔트로피 측정으로 정의되며, 모델이 높은 확신을 보이는 영역은 실제 깊이와 일치하는 경우가 대부분이었다.

또한, 저노이즈(λ 큰 경우)와 고노이즈(λ 작은 경우) 모두에서 성능 저하가 미미했으며, 이는 네트워크가 노이즈 특성을 학습 데이터에 충분히 내재화했기 때문이다. 흥미롭게도, 노이즈와 동시에 이미지 왜곡(defocus, C3, C5 등) 변동을 포함시켰음에도 일반화 능력이 유지되었다. 이는 실험적 파라미터 변동성을 고려한 데이터 증강 전략이 효과적임을 시사한다.

한계점으로는 (i) 레이블이 0~10 원자에 한정돼 있어 두께가 더 큰 시료에 직접 적용하기 어려움, (ii) 시뮬레이션 파라미터와 실제 현미경 파라미터 사이의 미세 차이가 결과에 미치는 영향을 정량화하지 않았음, (iii) 현재는 단일 프레임에만 적용되므로 시간 연속성을 활용한 동적 추적에는 추가적인 시계열 모델링이 필요하다는 점을 들 수 있다. 향후 연구에서는 연속 프레임을 입력으로 하는 3D ConvLSTM 구조나, 트랜스포머 기반의 전역 컨텍스트 모델을 도입해 동적 변화를 더 정밀히 포착할 수 있을 것으로 기대된다.