시각 구조 자동연관 학습을 통한 의료 영상 투명 분류

초록

본 논문은 이미지 재구성을 위해 타원형 시각 원시(primitives)를 활용하는 신경-기호(autoassociative) 오토인코더 ASR을 제안한다. ASR은 컨볼루션 인코더, 다중 스케일 모델러, 미분 가능한 렌더러로 구성돼 이미지의 구조적 설명을 강제한다. 갑상선 조직 병변(양성, 하시모토, 결절) 데이터에 적용해 기존 CNN 기반 오토인코더보다 높은 분류 정확도와 해석 가능성을 입증하였다.

상세 분석

ASR(Auto‑associative Structural Representations) 시스템은 기존 컨볼루션 신경망(CNN)이 픽셀‑단위 연속 특징에 의존하는 한계를 극복하고자, 이미지 자체를 “시각 원시(visual primitives)”의 집합으로 재구성하도록 설계되었다. 핵심 아이디어는 입력 이미지를 자동 연관(auto‑association) 방식으로 복원하면서, 모델이 반드시 인간이 직관적으로 이해할 수 있는 파라미터(크기, 회전, 색상 등)를 학습하도록 강제하는 것이다. 이를 위해 세 가지 주요 모듈을 도입한다. 첫째, 다중 스케일 ConvBlock으로 구성된 인코더는 각 레이어에서 점점 감소하는 공간 해상도와 증가하는 채널 수를 제공하며, 최종적으로 배경 색상(r_bg, g_bg, b_bg)을 추출한다. 둘째, 각 스케일에 대응하는 Modeler는 1×1 컨볼루션을 통해 해당 레이어의 잠재 벡터 z_j를 6차원 파라미터(w_j, h_j, d_j, a_j)로 변환한다. 여기서 w_j와 h_j는 타원형 원시의 가로·세로 스케일, d_j는 회전 각도, a_j는 RGB 색상이다. 시그모이드 활성화와 선형 스케일링을 사용해 파라미터 범위를 제한함으로써 원시가 점으로 붕괴하거나 과도하게 겹치지 않도록 설계하였다. 셋째, Renderer는 이러한 파라미터를 기반으로 미분 가능한 렌더링 파이프라인을 수행한다. 구체적으로, 각 타원을 블러 처리된 원형 마스크(R_j)로 근사하고, affine 변환 행렬 A를 적용해 스케일·회전을 구현한 뒤, bilinear interpolation으로 샘플링한다. 이후 색상 a_j와 곱해 RGB 이미지를 얻고, 동일 스케일 내 모든 타원을 곱셈 방식으로 합성한다. 최종 이미지 재구성은 다중 스케일 캔버스와 배경 색상의 요소별 곱으로 완성된다. 이 과정 전체가 미분 가능하도록 설계돼, 평균 제곱 오차(MSE)를 손실 함수로 사용해 엔드‑투‑엔드 학습이 가능하다. 학습 초기 파라미터 초기화는 Xavier 방식과 N(0,1) 편향을 사용해 비선형성에 대한 안정성을 확보하였다.

ASR의 차별점은 두 가지이다. 첫째, 이미지 재구성이라는 “분석‑대‑합성(analysis‑by‑synthesis)” 목표를 달성하면서도, 모델이 명시적인 기하학적 파라미터를 학습하도록 강제한다는 점이다. 이는 기존 MONet, PriSMONet 등과 달리 객체의 형태와 위치를 직접적인 수치로 표현한다는 의미이며, 따라서 해석 가능성이 크게 향상된다. 둘째, 미분 가능한 렌더링을 구현하기 위해 복잡한 3D 그래픽 파이프라인을 도입하지 않고, 타원형 원시와 블러 마스크만으로 충분히 근사함으로써 계산 비용을 크게 절감한다.

실험에서는 갑상선 조직 슬라이드(WSI)에서 추출한 256×256 패치를 사용하였다. 총 30명의 환자(각 클래스 10명)로부터 15, 6, 9명씩 훈련·검증·테스트 집합을 구성했으며, 패치 수는 훈련 10,915장, 검증 4,945장, 테스트 7,235장이다. 데이터는 클래스별 연령·성비를 균등하게 배분했지만, 패치 수준에서는 클래스 비율이 불균형했다. ASR은 3개의 스케일(2×2, 4×4, 8×8 셀)에서 각각 84개의 타원을 파라미터화해 총 504 차원의 구조적 잠재 공간을 만든다. 동일한 인코더 구조를 가진 전통적인 컨볼루션 오토인코더와 비교했을 때, 재구성 손실은 비슷했지만, 후속 단계에서 추출된 구조적 파라미터를 기반으로 학습한 의사결정 트리(decision tree)는 테스트 정확도에서 약 4~5%p(percentage point) 상승을 보였다. 또한, 트리의 분기 조건이 “타원 가로·세로 비율 > 1.2”와 같은 직관적인 형태로 나타나, 병변(예: 하시모토)과 정상 조직을 구분하는 시각적 근거를 명확히 제시한다.

한계점으로는 (1) 타원형 원시가 실제 조직 구조를 완벽히 표현하지 못할 가능성, (2) 패치 기반 접근으로 인해 전역적인 조직 배치 정보를 놓칠 위험, (3) 현재는 2D 평면에만 적용 가능하다는 점을 들 수 있다. 향후 연구에서는 원시 종류를 다각형·곡선 등으로 확장하고, 3D 조직 데이터에 적용하는 방안을 모색할 수 있다. 또한, 불균형 데이터에 대한 샘플링 전략이나 손실 가중치를 조정해 클래스 간 성능 격차를 줄이는 것이 필요하다. 전반적으로 ASR은 구조적 설명을 강제하면서도 딥러닝의 학습 효율성을 유지하는 새로운 신경‑기호 프레임워크로, 의료 영상 분야에서 투명하고 데이터 효율적인 모델링을 위한 유망한 방향을 제시한다.