범용 모델 SAM3와 특화 모델 YOLO11의 세그멘테이션 성능 비교 분석

초록

본 논문은 제로샷(Zero-shot) 성능을 가진 범용 파운데이션 모델 SAM3와 특정 데이터셋에 미세 조정된 YOLO11 모델의 인스턴스 세그멘테이션 성능을 비교 연구했습니다. 연구 결과, YOLO11은 객체 검출의 완전성 측면에서 우수한 F1 스코어를 기록했으나 IoU 임계값 상승에 따라 성능이 급격히 저하된 반면, SAM3는 검출력은 낮더라도 경계 정밀도와 성능 안정성 측면에서 압도적인 우위를 보였습니다.

상세 분석

본 연구의 핵심적인 기술적 통찰은 인스턴스 세그멘테이션 모델을 평가할 때 IoU(Intersection over Union) 임계값 설정이 결과 해석에 얼마나 결정적인 영향을 미치는지를 규명한 데 있습니다. 연구진은 IoU 임계값의 선택에 따라 모델 간의 성능 격차가 최대 30%까지 왜곡될 수 있음을 증명했습니다.

기술적으로 주목할 점은 ‘검출의 완전성(Detection Completeness)‘과 ‘경계의 정밀도(Mask Precision)’ 사이의 트레이드오프(Trade-off)입니다. YOLO11(nano, medium, large) 모델은 MinneApple과 같은 고밀도 데이터셋에서 객체를 찾아내는 능력, 즉 Recall 측면에서는 SAM3보다 우수한 F1 스코어(최대 72.2%)를 기록했습니다. 이는 특정 도메인에 맞춰 미세 조정된 모델이 객체의 존재 여부를 판단하는 데 있어 여전히 강력한 성능을 보유하고 있음을 시사합니다.

그러나 성능의 ‘안정성’ 측면에서는 반전이 일어납니다. YOLO11은 IoU 임계값이 높아짐에 따라 F1 스코어가 48~50포인트나 급락하는 극심한 성능 저하를 보였습니다. 이는 YOLO가 객체의 위치는 잘 찾아내지만, 픽셀 단위의 정밀한 경계(Boundary)를 유지하는 능력은 부족함을 의미합니다. 반면, SAM3는 IoU 변화에 따른 성능 하락이 단 4포인트에 불과했습니다. 이는 SAM3가 12배 더 높은 경계 안정성을 보유하고 있음을 나타내며, 제로샷 모델임에도 불구하고 객체의 형태적 특징을 매우 일관되게 유지할 수 있는 구조적 강점을 가지고 있음을 입증합니다. 결과적으로, 연구는 모델의 선택 기준을 ‘객체를 놓치지 않는 것이 중요한가(YOLO)’ 아니면 ‘정교한 형태를 유지하는 것이 중요한가(SAM3)‘로 재정의할 것을 제안합니다.

본 논문은 인스턴스 세그멘테이션 분야의 두 가지 핵심 패러다임인 ‘특화된 미세 조정 모델(Specialized Fine-tuned Models)‘과 ‘범용 파운데이션 모델(Generalist Foundation Models)‘의 성능을 심층 비교 분석한 연구입니다. 연구의 주된 목적은 별도의 학습 없이 작동하는 SAM3(Segment Anything Model v3)의 제로샷 세그멘테션 능력과, 특정 목적을 위해 학습된 Ultralytics YOLO11 모델의 성능 차이를 정량적으로 측정하는 것입니다.

연구를 위해 사용된 MinneApple 데이터셋은 사과나무 과수원을 배경으로 하며, 670개의 이미지 내에 28,179개의 사과 인스턴스가 포함된 매우 밀도 높은 데이터셋입니다. 이러한 고밀도 및 높은 폐쇄(Occlusion) 환경은 모델의 강건성을 테스트하기에 최적의 조건입니다.

실험 결과, IoU(Intersection over Union) 임계값에 따른 성능 변화가 매우 극명하게 나타났습니다. 낮은 IoU 임계값(0.15) 기준으로는 YOLO11의 각 변체(nano, medium, large)가 68.9%에서 72.2% 사이의 F1 스코어를 기록하며, 59.8%에 머문 SAM3를 압도했습니다. 이는 특정 도메인 데이터로 학습된 YOLO 모델이 객체의 존재를 식별하고 검출하는 ‘완전성’ 측록에서 여전히 우위에 있음을 보여줍니다.

하지만 연구의 진정한 가치는 IoU 임계값이 높아짐에 따라 나타나는 성능의 ‘붕괴’ 현상을 분석한 데 있습니다. YOLO11 모델은 IoU 임계값이 높아질수록 성능이 48~50포인트나 급격히 떨어지는 양상을 보였습니다. 이는 YOLO 모델이 객체의 위치는 정확히 짚어내더라도, 픽셀 단위의 정밀한 마스크 경계를 생성하는 데에는 한계가 있음을 의미합니다. 반면, SAM3는 성능 하락 폭이 단 4포인트에 불과했습니다. 이러한 결과는 SAM3가 YOLO 대비 약 12배 더 높은 경계 안정성을 가지고 있음을 시사하며, 이는 제로샷 모델이 객체의 형태적 구조를 유지하는 데 있어 매우 강력한 일반화 능력을 갖추고 있음을 입증합니다.

결론적으로 본 논문은 개발자와 연구자들에게 명확한 가이드라인을 제공합니다. 만약 작업의 목표가 밀집된 환경에서 객체를 하나도 놓치지 않고 찾아내는 ‘검출의 정확도’에 있다면 YOLO11과 같은 미세 조정된 모델이 적합합니다. 반면, 객체의 형태를 정밀하게 추출하고 경계의 일관성을 유지해야 하는 ‘마스크의 정밀도’가 핵심인 작업이라면 SAM3와 같은 범용 파운데이션 모델을 사용하는 것이 훨씬 유리합니다. 본 연구는 이러한 선택의 기준을 수치화된 데이터로 제시함으로써, 향후 인스턴스 세그멘테이션 모델 설계 및 적용 전략 수립에 중요한 학술적 근거를 제공합니다.