협업 다중 에이전트 학습 기반 MR 무릎 연골 자동 분할

무릎 골관절염(OA) 진단에 있어 연골의 3차원 형태와 정량적 지표는 핵심적인 역할을 한다. 그러나 MR 영상은 고해상도와 대용량(수백만 볼륨)이라는 특성 때문에 전체 무릎을 한 번에 처리하는 딥러닝 모델은 GPU 메모리 부족과 클래스 불균형 문제에 직면한다. 이를 해결하고자 저자들은 “협업 다중 에이전트 학습”이라는 새로운 패러다임을 제시한다. 전체 흐름은 크게 두 단계로 나뉜다. 첫 번째는 저해상도 VNet‑like 코스 세그멘터를 이용해 전체 무릎에서 대략적인 연골 위치를 추정하고, 이를 기반으로 대퇴골(F), 경골(T), 슬개골(P) 각각에 대해 고정 크기의 ROI를 추출한다. 이 ROI는 원본 이미지에서 연골만을 포함하도록 설계돼, 배경과 다른 연골이 거의 없으므로 클래스 불균형이 크게 완화된다. 두 번째 단계에서는 세 개의 세그멘테이션 에이전트가 각각의 ROI에 대해 독립적으로 고해상도 마스크를 생성한다. 각 에이전트는 VNet 구조를 따르지만, 메모리 절감을 위해 다운‑업 샘플링을 2단계로 제한한다. 또한, 기존 스킵 연결을 다중 해상도 어텐션 메커니즘으로 대체하였다. 어텐션 마스크 α는 저해상도 특징과 고해상도 특징을 1×1 컨볼루션과 시그모이드로 가공한 뒤 요소별 곱셈으로 결합해, 연골 경계와 같은 중요한 영역에 가중치를 부여한다. 이 설계는 얇고 불명확한 연골 구조를 보다 정밀하게 포착한다. 세 에이전트가 출력한 이진 마스크는 ROI‑fusion 레이어(F)를 통해 원본 무릎 좌표계로 되돌려 4채널(대퇴골, 경골, 슬개골, 배경) 라벨 맵을 만든다. 이 라벨 맵은 조건부 GAN 구조의 디스크리미네이터(D)에 입력된다. D는 실제 라벨과 가짜 라벨(에이전트가 만든 라벨)을 구분하도록 학습되며, 손실은 다시 F 레이어를 통해 각 에이전트에 역전파된다. 따라서 에이전트는 자신의 ROI 내에서 국소적인 정확성을, 전체 네트워크는 전역적인 형태·위치 일관성을 동시에 학습한다. 손실 함수는 세 부분으로 구성된다. (1) 각 에이전트의 ROI‑별 바이너리 교차 엔트로피 L_s, (2) 전체 라벨 맵에 대한 다중 클래스 교차 엔트로피 L_m, (3) 디스크리미네이터가 가짜 라벨을 실제 라벨로 오인하도록 유도하는 GAN 손실이다. 이 복합 손실은 에이전트가 국소·전역 두 차원에서 동시에 최적화되도록 만든다. 실험은 OAI 데이터베이스의 iMorphics 3D MR Sagittal DESS 시퀀스 176건을 사용했으며, 120/26/30 비율로 학습·검증·테스트 셋을 나누었다. 비교 대상은 기존 VNet 구현(C0)와 DenseASPP 기반 모델이며, 제안 모델(P2)은 모든 평가 지표에서 최고 성능을 기록했다. 구체적으로, 대퇴골, 경골, 슬개골 전체 평균 Dice 0.893±0.024, VOE 19.2%±3.9%, ASD 0.074±0.009 mm를 달성했으며, 이는 기존 연구(예: Xu et al., Ambellan et al.)와 비교해 유사하거나 더 우수한 결과다. 시각적 검증에서도 작은 연골 결함을 정확히 포착했으며, 경계가 흐린 일부 영역에서만 미세한 오류가 관찰되었다. 결론적으로, 이 논문은 메모리 제한이 있는 환경에서도 고해상도 3D 연골 분할을 효율적으로 수행할 수 있는 프레임워크를 제시한다. 협업 다중 에이전트와 ROI‑fusion, 적대적 학습의 결합은 국소적인 세부 묘사와 전역적인 형태 일관성을 동시에 달성하게 하며, 향후 다른 관절이나 연골 이외의 조직(반월판, 골수 등)에도 확장 가능성을 보여준다.