인스턴스 분할을 위한 적응형 컨포멀 예측 집합

초록

본 논문은 이미지와 픽셀 좌표를 입력으로 받아, 해당 픽셀이 속한 객체의 마스크를 다중 후보로 제시하는 컨포멀 예측 알고리즘을 제안한다. 선택된 후보 집합은 사전에 정의한 IoU 임계값을 초과할 확률이 1‑α 이상임을 이론적으로 보장한다. 실험에서는 농업 필드, 세포, 차량 데이터에 적용해 기존 방법보다 더 작은 평균 집합 크기와 목표 커버리지를 달성하였다.

상세 분석

이 논문은 인스턴스 분할 모델의 불확실성을 정량화하기 위해 “컨포멀 예측 집합(conformal prediction set)”이라는 프레임워크를 도입한다. 기존의 컨포멀 방법(Learn‑Then‑Test, Conformal Risk Control 등)은 하나의 파라미터값에 대해 단일 마스크를 생성하고, 그 마스크가 일정 수준 이상의 IoU를 만족하도록 임계값을 조정한다. 그러나 IoU 손실은 단조성이 없으며, 실제 응용에서는 하나의 파라미터로 모든 쿼리를 만족시키기 어려워 “커버리지를 만족하는 파라미터가 존재하지 않는다”는 상황이 빈번히 발생한다.

저자들은 이를 해결하기 위해 파라미터 공간을 다중값 집합으로 확장한다. 구체적으로, 모델 f에 대해 사전 정의된 k개의 파라미터 t₁,…,t_k(예: SAM의 마스크 점수 임계값, 워터셰드 알고리즘의 임계값 등)를 선택하고, 캘리브레이션 데이터셋에 대해 각 파라미터별 IoU ρᵢⱼ를 계산한다. 각 파라미터 tⱼ에 대해 ρᵢⱼ>τ(사용자가 지정한 IoU 목표)인 캘리브레이션 샘플 인덱스 집합 Sⱼ를 만든 뒤, 최소한 (1‑α)n개의 샘플을 커버하는 파라미터 서브셋 J₍α,τ₎를 찾는다. 이는 전통적인 집합 커버(set cover) 문제와 동일하며, NP‑hard이지만 그리디 알고리즘과 작은 규모에 대한 완전 탐색을 결합해 실용적으로 해결한다.

선택된 파라미터 집합 J₍α,τ₎에 대해 테스트 이미지에 동일한 파라미터들을 적용하면, {f(X_test, tⱼ) | j∈J₍α,τ₎}라는 마스크 집합 C₍α,τ₎(X_test)를 얻는다. 이 집합은 “적어도 하나의 마스크가 진짜 마스크와 IoU>τ를 만족할 확률이 ≥1‑α”라는 비대칭 커버리지를 보장한다. 중요한 점은 손실 함수의 단조성을 요구하지 않으므로, IoU와 같은 비단조적 메트릭을 그대로 사용할 수 있다는 것이다.

또한, 실제 적용 시 동일 파라미터에 의해 생성된 마스크가 중복되거나 거의 동일할 수 있다. 이를 해결하기 위해 중복 제거 단계(Algorithm 2)를 도입한다. 두 마스크 간 IoU가 η(사용자 지정 중복 임계값)보다 높으면 하나를 제거하고, 최소한의 대표 마스크 집합 C₍α,τ,η₎(X_test)를 만든다. 이 과정은 집합 크기를 입력에 따라 적응적으로 축소시켜, 불확실성이 큰 경우에는 다수의 서로 다른 후보가 남고, 확신이 높은 경우에는 소수만 남게 한다.

이론적 보장은 캘리브레이션과 테스트 데이터가 i.i.d.라는 가정 하에 asymptotic(무한 샘플)과 finite‑sample 두 버전을 제공한다. finite‑sample 보장은 파라미터 집합이 존재하지 않을 경우 α를 늘리거나 τ를 낮추는 등 사용자에게 명시적인 피드백을 제공한다.

실험에서는 세 가지 도메인(농업 필드 경계, 현미경 세포 이미지, 차량 검출)에서 기존 방법(LTT/CRC, 마스크 팽창 기반)과 비교했다. 결과는 (1) 목표 커버리지를 정확히 달성, (2) 평균 집합 크기가 현저히 작아 사용자에게 과도한 후보를 제시하지 않음, (3) 구조적 불확실성(예: 인접 필드가 하나의 객체인지 두 개인지)까지 포착하는 점에서 우수함을 보여준다. 특히, 구조적 모호성을 다루는 기존의 “마스크 팽창” 방식은 동일 마스크의 경계만 확장해 구조적 선택지를 제공하지 못하지만, 제안된 방법은 파라미터 변화를 통해 완전히 다른 마스크를 생성함으로써 이러한 한계를 극복한다.

전체적으로 이 논문은 인스턴스 분할 분야에서 “예측 집합”이라는 새로운 불확실성 표현을 제시하고, 컨포멀 프레임워크를 활용해 실용적인 커버리지 보장을 제공한다는 점에서 의미가 크다. 파라미터 공간을 집합으로 확장하고, 집합 커버 최적화를 통해 다중 후보를 효율적으로 선택한다는 아이디어는 다른 비단조적 손실을 갖는 비전 과제에도 일반화 가능할 것으로 기대된다.