BLO 인스턴스: 양방향 최적화로 YOLO와 SAM을 맞춤형 세그멘테이션으로 연결

초록

본 논문은 객체 검출기 YOLO와 세그멘테이션 기반 모델 SAM을 결합해 자동 인스턴스 세그멘테이션을 구현한다. 검출기가 생성하는 박스를 SAM의 프롬프트로 활용하지만, 기존 공동 학습 방식은 검출기와 세그멘터가 동일 데이터에 과적합돼 일반화가 떨어진다. 이를 해결하기 위해 저자는 검출기 파라미터를 메타 파라미터로 보고, 별도의 검증 셋에서 SAM의 손실을 최소화하도록 검출기를 업데이트하는 양방향(바이레벨) 최적화 프레임워크 BLO‑Inst를 제안한다. 하위 레벨에서는 고정된 검출기로부터 얻은 박스를 이용해 SAM을 파라미터 효율적인 LoRA 방식으로 미세조정하고, 상위 레벨에서는 미세조정된 SAM의 검증 손실을 최소화하도록 검출기 파라미터를 갱신한다. 실험 결과, 일반 이미지와 의료 영상 모두에서 기존 단일 레벨 학습 대비 뚜렷한 성능 향상을 보이며, 프롬프트 과적합 문제를 효과적으로 완화한다.

상세 분석

BLO‑Inst는 두 가지 핵심 문제, 즉 ‘목표 불일치(objective mismatch)’와 ‘정렬 과적합(alignment overfitting)’을 동시에 해결한다는 점에서 혁신적이다. 목표 불일치는 검출기가 박스 위치와 크기만을 최적화해도 SAM이 요구하는 최적 프롬프트와는 차이가 발생한다는 점이다. 예를 들어 보행자와 같은 복잡한 배경에서는 더 타이트한 박스가, 세포와 같은 구조물에서는 더 넓은 박스가 마스크 품질을 높인다. 기존 방법은 이러한 차이를 반영하지 못하고 검출기 손실에만 집중한다. BLO‑Inst는 검출기 파라미터 Φ를 메타 파라미터로 간주하고, 검증 데이터 D₂에서 SAM의 손실 L_seg을 최소화하도록 Φ를 업데이트한다. 따라서 검출기는 단순히 ‘정확히 박스를 맞추는’ 것이 아니라 ‘SAM이 최고의 마스크를 생성하도록 유도하는’ 프롬프트를 학습한다.

정렬 과적합은 동일 데이터 D₁, D₂에 대해 동시에 학습할 때 발생한다. 검출기가 훈련 샘플에 특화된 박스 보정값을 기억하게 되면, 새로운 이미지에서는 프롬프트가 비효율적으로 작동한다. BLO‑Inst는 데이터 셋을 D₁(하위 레벨 학습)과 D₂(상위 레벨 검증)로 명확히 분리함으로써 메타‑학습 형태의 일반화 압력을 가한다. 하위 레벨에서는 고정된 Φ 하에 SAM 파라미터 Θ를 LoRA 기반으로 경량화하여 빠르게 적응시킨다. 상위 레벨에서는 최신 Θ⁎(Φ)를 사용해 D₂에서 전체 손실 L_total을 계산하고, Φ에 대한 그래디언트를 역전파한다. 이 과정은 알고리즘 1에 명시된 대로 교대로 수행되며, 각 단계에서 손실이 Φ 혹은 Θ에만 전파되도록 그래디언트 흐름을 제어한다.

기술적 구현 측면에서 저자는 SAM의 무거운 ViT 인코더를 동결하고, 마스크 디코더에 LoRA 모듈을 삽입해 파라미터 효율성을 확보한다. 이는 대규모 파운데이션 모델을 전체 재학습 없이 특정 도메인(예: 의료 영상)에도 빠르게 적용할 수 있게 한다. 또한, 상위 레벨 최적화에서 사용되는 L_total은 기존 YOLO 손실(L_box, L_obj, L_cls)에 SAM의 마스크 손실 L_seg을 가중치 λ₁~λ₄로 결합한 형태이며, 이는 검출과 세그멘테이션 사이의 균형을 정량적으로 조정한다.

실험에서는 COCO‑like 일반 이미지와 다양한 의료 데이터(CT, MRI, 현미경 이미지)에서 베이스라인(단일 레벨 공동 학습, USIS‑SAM, RSPrompter 등) 대비 평균 IoU, APᵐ, Dice 점수가 크게 향상되었다. 특히, 검증 셋을 별도로 두어 메타‑학습을 수행한 경우, 테스트 시 동일 도메인뿐 아니라 도메인 이동 상황에서도 성능 저하가 최소화되는 것을 확인했다. 이는 검출기가 ‘프롬프트 생성 정책’을 일반화했음을 의미한다.

요약하면, BLO‑Inst는 (1) 검출기와 세그멘터를 서로의 목적에 맞게 정렬하고, (2) 메타‑학습 원리를 도입해 과적합을 방지하며, (3) 파라미터 효율적인 PEFT 기법으로 대규모 모델을 실용적으로 활용한다는 세 가지 장점을 제공한다. 이러한 설계는 앞으로 다양한 파운데이션 모델과 탐지기 조합에 적용 가능하며, 자동화된 인스턴스 세그멘테이션 파이프라인 구축에 중요한 전환점을 제시한다.