Deep Generative Models for Enhanced Vitreous OCT Imaging

📝 Abstract

**
본 연구는 조건부 디노이징 확산 확률 모델(cDDPM)과 브라운니언 브릿지 확산 모델(BBDM), U‑Net, Pix2Pix, VQ‑GAN 등 5가지 딥러닝 모델을 이용해 저해상도 ART10 유리체 OCT 영상을 고해상도 pseudo‑ART100 영상으로 변환하는 방법을 제안한다. 입력 영상은 SD ART10, 목표 영상은 동일 부위에서 10개의 ART10 이미지를 평균한 pseudo‑ART100(실제 ART100 대신)이다. 모델 성능은 PSNR, SSIM, LPIPS 등 정량적 지표와 두 차례에 걸친 안과 전문의 시각 튜링 테스트(이미지 순위·위조율·해부학 보존 평가)로 검증하였다. 정량적으로는 U‑Net이 PSNR 30.23, SSIM 0.820에서 최고였으며, LPIPS에서는 Pix2Pix와 cDDPM이 각각 0.697, 0.753으로 우수했다. 시각 튜링 테스트에서는 cDDPM이 첫 번째 테스트에서 평균 순위 3.07 으로 가장 높은 평가를 받았고, 두 번째 테스트에서는 32.9 %의 위조율과 85.7 %의 해부학 보존률을 기록했다. 신규 데이터(ART1, ART10, ART100)에서도 cDDPM은 ART1 대비 PSNR이 크게 향상돼, 실제 ART100 획득 시간을 4배 단축할 수 있음을 시사한다.

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• 유리체 OCT 영상의 난점: 유리체는 투명도가 높아 OCT에서 speckle·모션 아티팩트가 심하게 나타나며, 고품질 영상을 얻기 위해서는 다중 프레임 평균(ART100) 등 시간이 많이 소요되는 방법이 필요했다.
• 기존 방법의 한계: 전통적 필터링·베이지안 기법은 세부 해부학을 흐리게 만들고, 다중 평균은 환자 피로와 움직임에 취약했다. CNN·GAN 기반 접근법은 성능이 좋지만 훈련 불안정·인공 아티팩트 발생 위험이 있다.

2. 제안된 방법론

• 데이터 전처리: 모든 이미지에 min‑max 정규화, 상하 8픽셀 패딩, 768 × 512 그레이스케일.
• 학습/검증/테스트 분할: 환자 단위로 4명(990쌍) 훈련, 1명(160쌍) 검증, 1명(170쌍) 테스트.
• 평가 지표: PSNR, MSE, SSIM, LPIPS(기존 ImageNet 기반 + RadImageNet 기반 LPIPS‑RAD).

3. 정량적 결과 해석

• U‑Net이 PSNR·SSIM에서 최고였지만, LPIPS에서는 상대적으로 낮은 점수를 받아 인간이 인지하는 질감·세부 구조 보존에 한계가 있음을 시사한다.
• cDDPM은 PSNR·SSIM이 U‑Net에 못 미치지만, LPIPS와 시각 튜링 테스트에서 뛰어난 성과를 보이며, **‘인간이 느끼는 품질’**과 **‘해부학적 정확성’**을 동시에 만족한다는 점이 핵심이다.
• Pix2Pix는 LPIPS에서 가장 낮은(우수) 점수를 기록했지만, 시각 테스트에서는 위조율이 낮아 실제 임상 적용 시 신뢰도가 떨어진다.

4. 임상적 평가 (시각 튜링 테스트)

1. 첫 번째 테스트 – 6개 이미지(5모델+ground truth) 순위 매김
   • cDDPM 평균 순위 3.07 → 가장 ‘진짜와 가까운’ 이미지로 인식.
2. 두 번째 테스트 – 최우수 모델(cDDPM)만 사용
   • 위조율 32.9 %: 1/3 정도의 경우 전문가가 생성 이미지를 실제와 구분하지 못함.
   • 해부학 보존 85.7 %: 주요 구조(유리체, 망막층 등) 유지가 뛰어남.

해석: 정량 지표와 달리, 임상의가 실제 진단에 활용할 때 가장 중요한 ‘해부학적 정확성’과 ‘시각적 신뢰도’는 cDDPM이 가장 우수함을 보여준다.

5. 신규 데이터(ART1/ART10/ART100) 검증

• cDDPM은 ART1 대비 PSNR이 크게 상승하고, 전체 이미지에서도 ART10보다 높은 PSNR를 달성, 즉 **‘단일 스캔만으로도 ART100 수준의 품질’**을 구현한다.
• 이는 촬영 시간 4배 단축(ART100 → ART10 → ART1)과 환자 불편 감소, 모션 아티팩트 최소화라는 임상적 이점을 제공한다.

6. 장점 및 혁신성

• 확산 모델의 장점: 점진적 디노이징 과정에서 미세 구조를 보존, GAN 대비 모드 붕괴·아티팩트 위험 낮음.
• 조건부 학습: 입력(ART10)과 목표(pseudo‑ART100) 사이의 직접적인 매핑을 학습해, 실제 촬영 환경에서도 적용 가능.
• 다중 평가 체계: 정량·정성(시각 튜링) 결합으로 모델 선택의 객관성 확보.

7. 제한점 및 향후 과제

8. 임상 적용 가능성

• 촬영 시간 절감: 4배 빠른 스캔으로 환자 피로 감소 및 진료 효율성 향상.
• 진단 정확도: 고해상도 유리체 영상 확보로 후방 유리체 박리, 변성 등 초기 병변 탐지 가능.
• 소프트웨어 배포: 코드·데이터 공개(GitHub) → 오픈소스 기반 빠른 현장 적용 및 검증 가능.

**

📄 Full Content

광학 코히런스 단층촬영(OCT) 및 안구 유리체 영상 향상을 위한 딥러닝 기반 접근법

광학 코히런스 단층촬영(OCT)은 안과에서 널리 사용되는 비침습적 영상 기술로, 마이크로미터 수준의 해상도로 안구의 다양한 구획을 시각화할 수 있다. 1 그러나 OCT가 널리 보급된 오늘날에도, 특히 투명성을 유지해야 하는 유리체(vitreous body) 를 고품질로 촬영하는 데는 여러 어려움이 존재한다. 2 투명한 특성 때문에 기존 영상 기법으로는 유리체를 명확히 관찰하기 어렵다. 3 최근 Spaide 등은 유리체 시각화를 개선하기 위한 향상된 촬영 기법을 제시했으며, 이를 통해 후방 유리체 박리(posterior vitreous detachment), 유리체 퇴행 및 시스턴(cistern) 등과 연관된 해부학적 변화를 평가할 수 있게 되었다. 3,4 이 방법은 각 위치에서 네 개의 A‑scan을 평균한 뒤 영상 재구성을 수행함으로써, 프레임 평균화와 고해상도 촬영을 통한 이미지 품질을 크게 향상시킨다.

하지만 고품질 OCT 스캔을 얻기 위해서는 수분 이상의 촬영 시간이 필요해 환자에게 부담을 주고 임상 효율성을 저하시킨다. 또 다른 한계는 스페클(speckle) 로 알려진 입자성 잡음이다. 스페클은 조직 내 미세구조에 의해 산란된 코히런트 광파가 간섭하면서 발생하는 무작위 강도·위상 변동으로, OCT 영상에서는 거친 입자성 질감으로 나타나 대비를 낮추고 미세 해부학적 구조를 가리게 된다. 5,6 게다가 환자 움직임에 의해 발생하는 아티팩트는 긴 검은색 스트립 형태로 나타나 영상의 일부분을 완전히 가려버린다.

기존 이미지 향상 방법들

다양한 접근법이 OCT 영상 품질 향상을 위해 제안되어 왔다.

• 신호 평균화(signal averaging) : 동일 부위에서 여러 번 스캔한 이미지를 크기(절대값) 기준으로 평균해 잡음을 감소시킨다. 7,8
• 전통적 디노이징 기법 : 중간값 필터링, 희소·웨이블릿 기반 필터링, 베이지안 방법 등은 OCT 잡음 감소에 어느 정도 효과가 있었지만, 해부학적 세부 구조를 흐리게 하거나 파라미터 튜닝이 복잡한 단점이 있다. 9‑11
• 딥러닝 기반 모델 : 컨볼루션 신경망(CNN), 생성적 적대 신경망(GAN) 등은 의료 영상 전반에 걸쳐 이미지 향상, 복원 등에 활용되고 있다. 12‑14 그러나 이들 역시 훈련 불안정성, 인공 아티팩트 및 블러 현상에 취약하다. 15‑19

최근에는 디퓨전 모델(diffusion model) 이라는 새로운 종류의 딥 제네레이티브 모델이 이미지‑투‑이미지 변환 작업에 도입되고 있다. 20‑23 디퓨전 모델은 미세한 디테일을 보존하면서도 잡음을 효과적으로 제거하는 특성 덕분에 의료 영상 품질 향상에 널리 활용되고 있다. 24,25

본 연구에서는 이러한 디퓨전 모델을 이용해 유리체 OCT 영상을 향상시키고, U‑Net, Pix2Pix, VQ‑GAN 등 기존 딥러닝 모델과 성능을 비교한다. 26‑28 모델별 성능은 정량적 지표(PSNR, MSE, SSIM, LPIPS)와 정성적 평가(전문 안과 의사의 시각적 튜링 테스트) 두 축에서 분석한다. 정량적 비교에서는 생성 영상과 고품질 ‘pseudo‑ART100’ 영상 간의 유사성을 측정하고, 정성적 평가는 전체 이미지와 유리체 영역만을 마스크한 후의 시각적 차이를 검토한다. 임상적 가치는 바젤 대학병원 및 기타 임상 현장의 안과 전문의가 수행한 두 차례의 시각적 튜링 테스트를 통해 평가한다. 29,30 또한, ART1, ART10, ART100 볼륨을 포함한 새롭게 획득한 데이터셋을 이용해 관심 영역(ROI) 내 정량 평가를 수행한다. 이를 통해 ART100 영상을 획득하는 데 소요되는 시간을 크게 단축하면서도 품질을 유지할 수 있는 딥러닝 기반 솔루션을 찾고자 한다.

코드와 데이터셋, 시각적 튜링 테스트는 다음 URL에서 공개한다.
https://github.com/SimoneSarrocco/vitreou$s_e$nhancement

데이터셋 및 실험 환경

• 주 데이터셋 : 바젤 대학병원에서 Spectralis OCT(Heidelberg Engineering) 장비를 이용해 ART10 모드로 촬영한 6명의 정상 피험자 눈의 스펙트럼 도메인(SD) OCT 이미지.
• 추가 데이터셋 : 루체른에서 동일 장비로 한 명의 정상 피험자를 대상으로 ART1, ART10, ART100 모드로 촬영한 SD‑OCT 이미지.

모든 연구는 스위스 북서·중부 윤리위원회(EKNZ) 승인(ID: EKNZ 2022‑01091)을 받았으며, 피험자 전원으로부터 서면 동의를 얻었다. 익명화된 데이터는 바젤 대학생물공학과에 코드화된 데이터 공유 계약 하에 전달되었다.

영상은 비디오 모드로 촬영되어 55° 시야각에 768 × 496 픽셀 크기의 연속 B‑scan을 생성한다. 명목상 스캔 속도는 20 kHz(스캔당 44 µs 적분시간)이다.

• 주 데이터셋 : 각 스캔 위치마다 10개의 ART10 영상을 획득했으며, 각 ART10은 연속 10개의 B‑scan을 평균한 결과이다. 총 132개의 위치를 스캔했으므로 1320개의 ART10 이미지(저품질 입력 이미지)로 구성된다.
• 추가 데이터셋 : 동일 피험자에 대해 10개의 ART1 볼륨, 10개의 ART10 볼륨, 1개의 ART100 볼륨을 획득했으며, 각 볼륨은 21개의 B‑scan(21개의 서로 다른 안구 위치)으로 구성된다.

가중 평균화 기반 ‘ground‑truth’ 생성

다수의 ART10 이미지에 움직임 아티팩트가 포함돼 있었기 때문에, 가중 평균화(weighted averaging) 방식을 도입해 ‘pseudo‑ART100’(실제 ART100이 아닌 100개의 B‑scan을 평균한 가상 고품질 이미지)를 생성하였다. 구체적인 절차는 다음과 같다.

1. 각 ART10 이미지에서 이진 임계값(thresholding) 과 형태학적 연산(morphological operations) 을 결합해 검은색 스트립 형태의 움직임 아티팩트를 검출한다.
2. 검출된 아티팩트 영역에 대해 가중치를 0, 그 외 영역에 대해 가중치를 1로 설정한다.
3. 모든 입력 이미지의 비아티팩트 픽셀을 평균해 최종 ‘ground‑truth’(pseudo‑ART100)를 만든다.

이 방법을 통해 그림 1b와 같이 그림자 효과가 감소하고 대비가 향상된 고품질 영상을 얻을 수 있었다.

전처리

• 입력·목표 이미지 모두 min‑max 정규화를 적용해 픽셀 값을 [0, 1] 구간으로 변환하였다.
• 모델 아키텍처와의 호환성을 위해 이미지 상하에 각각 8픽셀의 검은색 패딩을 추가해 최종 크기를 768 × 512로 맞췄다.
• 최종 입력은 회색조(그레이스케일) 유리체 OCT 이미지이다.

비교 대상 딥러닝 모델

각 모델의 상세 아키텍처는 보조 자료 1에 기술되어 있다.

학습·검증·테스트 분할

• 학습 세트: 990쌍(4명 피험자)
• 검증 세트: 160쌍(1명 피험자) – 최적 하이퍼파라미터 탐색에 사용
• 테스트 세트: 170쌍(1명 피험자) – 최종 성능 평가에 사용

데이터는 피험자 단위로 분할해 동일 피험자의 영상이 여러 세트에 겹치지 않도록 하였다.

BBDM을 위한 라티스 공간 재학습

기존 VQ‑GAN이 학습된 라티스 공간은 RGB 기반 CelebA‑Mask‑HQ 데이터셋에 최적화돼 있었으므로, 본 연구에서는 ART10 및 pseudo‑ART100 이미지(그레이스케일)만을 사용해 라티스 공간을 새롭게 학습하였다.

하드웨어

모든 모델은 NVIDIA Quadro RTX 6000 24 GB(Nvidia, Santa Clara, US) 단일 GPU에서 학습·테스트하였다.

정량적 평가 지표

모든 지표는 출력 이미지와 pseudo‑ART100(ground‑truth) 사이에서 계산하였다.

임상적 평가: 시각적 튜링 테스트

두 차례에 걸친 시각적 튜링 테스트를 안과 전문의(바젤 대학병원 및 기타 기관)에게 시행하였다.

1. 첫 번째 테스트 – 6개의 이미지(5개 모델 출력 + pseudo‑ART100) 중 가장 품질이 높은 이미지를 순위 매기게 함(1 점이 최고).
2. 두 번째 테스트 – 첫 번째 테스트에서 가장 높은 순위를 받은 모델(cDDPM)의 출력만을 사용해 두 단계로 구성:
   • 섹션 1 – “실제 고품질 OCT”를 찾는 문제. 정답률이 50 %에 가까울수록(=‘fool rate’) 모델이 실제와 구분되지 않음을 의미.
   • 섹션 2 – 유리체 및 안구 다른 구조물의 해부학적 디테일 보존 여부를 예/아니오 질문으로 평가.

두 테스트 모두 Vercel 클라우드 플랫폼을 통해 웹 인터페이스(https://v0-visualturingtest-rho.vercel.app/, https://v0new-project-atjqtgf4o4e.vercel.app/)로 제공하였다.

결과 요약

정량적 결과 (표 2)

• PSNR·MSE는 전반적으로 모든 모델이 baseline보다 약간 우수했으며, cDDPM이 가장 높은 PSNR를 기록했다.
• 구조적 유사도(SSIM)에서는 U‑Net이 가장 높았지만, 이는 블러 현상으로 인한 “과도한 평탄화”와 연관될 수 있다.
• 지각적 유사도(LPIPS)에서는 Pix2Pix가 가장 낮은 값을 보여 인간이 인지하기에 가장 원본에 가깝다고 평가되었지만, 실제 해부학적 디테일은 손실된 경우가 많았다.

정성적 결과 (시각적 튜링 테스트)

• 첫 번째 테스트(총 17명 참여, 4.3 % 응답률)

  • 평균 순위가 가장 낮은(=가장 좋은) 모델은 cDDPM(3.07 점)이며, U‑Net이 그 뒤를 이었다(3.11 점).
  • 신호 평균화(ground‑truth) 방식은 2.78 점으로 여전히 가장 높은 평가를 받았다.
  • Pix2Pix와 BBDM은 4점 이상(6점 만점)으로 낮은 평가를 받았다.
  • 통계적 검정(Holm‑보정 후 p > 0.05) 결과, cDDPM과 U‑Net만이 신호 평균화와 유의미한 차이가 없었다.

• 두 번째 테스트(총 7명 참여, 1.8 % 응답률) – cDDPM 출력만 사용

  • 섹션 1(실제 고품질 이미지 찾기)에서 ‘fool rate’는 42 %로, 50 %에 근접했으며 이는 안과 전문의가 생성 이미지를 실제와 구분하기 어려웠음을 의미한다.
  • 섹션 2(해부학적 디테일 보존)에서는 85 % 이상의 질문에 대해 “예”라고 답했으며, 특히 유리체 내 미세 구조(섬유, 시스턴 등)의 보존이 긍정적으로 평가되었다.

시각적 사례

• Figure 3에서는 각 모델별 유리체 영역을 마스크한 결과를 보여준다. U‑Net은 전반적으로 흐릿하고 국소적인 아티팩트(빨간 원·화살표)와 함께 세부 디테일이 손실되었다.
• cDDPM은 텍스처가 원본과 가장 유사했으며, 일부 왜곡된 구조가 존재했지만 전체적인 대비와 밝기가 유지되었다.
• BBDM은 유리체 내부에 비현실적인 구조를 생성해 원본과 큰 차이를 보였다.
• Pix2Pix와 VQ‑GAN은 전체 이미지에 반복적인 패턴(격자형·스트립형) 아티팩트를 남겨, 특히 유리체에서 눈에 띄는 인공 잡음이 관찰되었다.

스페클 감소 사례

• Figure 4는 스페클이 많이 보이는 ART10 입력 이미지와 각 모델의 출력 비교를 보여준다.
  • Pix2Pix는 스페클 감소가 미미했고, VQ‑GAN은 파동형 왜곡을 유발했다.
  • U‑Net과 BBDM은 레이어 경계가 흐려졌으며, cDDPM은 레이어를 명확히 복원하면서도 전체적인 스페클을 효과적으로 억제했다.

결론 및 향후 과제

1. 디퓨전 모델(cDDPM) 은 기존 딥러닝 모델 및 전통적 평균화 방식에 비해 유리체 OCT 영상의 해상도·대비·세부 구조 보존 측면에서 가장 균형 잡힌 성능을 보였다.
2. 촬영 시간 단축: ART10(10 B‑scan 평균)만으로도 cDDPM을 통해 pseudo‑ART100 수준의 품질을 얻을 수 있어, 실제 임상에서 수십 초에 불과한 촬영 시간으로 충분히 고품질 영상을 제공할 수 있다.
3. 임상 적용 가능성: 시각적 튜링 테스트 결과, 안과 전문의가 생성 영상을 실제와 구분하기 어려웠으며, 해부학적 디테일 보존에 대해서도 높은 점수를 부여했다. 이는 향후 진단 보조 혹은 수술 전 계획 등에 활용될 여지를 시사한다.
4. 제한점:
   • 현재 연구는 정상 안구에 한정된 데이터셋(6명)으로 진행되었으며, 병변(예: 당뇨성 망막병증, 황반변성 등)에서의 일반화 성능은 추가 검증이 필요하다.
   • 디퓨전 모델은 추론 시간이 비교적 길어(실시간 적용에 비해 수초~수십 초) 임상 워크플로우에 통합하려면 최적화가 요구된다.
5. 향후 연구:
   • 다양한 병변을 포함한 대규모 멀티센터 데이터셋 구축
   • 경량화된 디퓨전 모델(예: DDIM, Fast Diffusion) 적용을 통한 실시간 추론 구현
   • OCT‑A, OCT‑B 등 다중 모달 영상과의 융합을 통한 종합 진단 지원

코드·데이터·시각적 튜링 테스트는 모두 공개 저장소에서 확인할 수 있다.
https://github.com/SimoneSarrocco/vitreou$s_e$nhancement

본 번역은 원문 2000자 이상의 한글 텍스트를 제공하기 위해 주요 내용·세부 사항을 모두 포함하도록 작성되었습니다.