서론

딥 뉴럴 네트워크(DNN)의 최근 발전으로 인해 객체 감지 분야가 크게 발전했습니다. 그러나 이러한 발전에도 불구하고 작은 객체 감지(TOD)는 여전히 큰 과제입니다. 매우 제한적인 픽셀 입력(16×16 픽셀 미만)을 가지는 작은 객체들은 일반 객체 감지에 비해 성능 저하가 심각합니다. 예를 들어, DINO와 같은 최신 쿼리 기반 검출기는 중간 크기의 객체에서 37.6% AP를 달성하지만 AI-TOD에서 작은 객체에서는 9.9% AP에 불과합니다. 안전성이 요구되는 실제 응용 프로그램, 예를 들어 교통 관리나 주행 지원 및 이상 감지 등에는 성능이 크게 미달됩니다.

작은 객체의 본질적으로 제한적인 픽셀 입력은 TOD에서 주요 과제를 구성하며 충분한 구별력 있는 전경 특징을 추출하는 것을 방해합니다. 이 문제는 혼잡한 환경에서 더욱 심각해지며 광범위한 가려짐, 복잡한 배경 노이즈 및 매우 낮은 신호 대 잡음 비율로 인해 특징 표현 공간에서 모호성이 발생합니다. 결과적으로 일반 검출기는 전경과 배경 지역을 구분하는 데 대한 특징 편향을 가지게 되어 TOD에서 누락 감지와 잘못된 긍정 결과를 초래할 수 있습니다. 최근의 노력은 업샘플링이나 전문적인 아키텍처를 통해 특징 해상도를 향상시키고, 제한된 픽셀 입력을 보완하기 위해 컨텍스트 정보를 활용하고, 보조 자기 재구성 모듈을 사용하여 객체 구분을 개선하는 방법으로 이러한 문제들을 해결하려고 합니다.

style="width:100.0%" />

본 연구에서는 작은 객체들이 애노테이션 노이즈에 취약하며 과적합 위험을 가진다는 것을 밝혔습니다. 제한된 해상도와 시각적인 모호성으로 인해 작은 객체의 수동 애노테이션은 라벨링 불일치를 자주 겪게 됩니다. 이에 대한 실제 세계에서의 작은 객체 데이터셋 내부의 애노테이션 노이즈 발생률을 정량화하기 위해, 우리는 AI-TOD 테스트로부터 10개의 무작위 선택된 이미지에서 총 532개의 박스를 수동 검토했습니다. 결과는 약 34.2%의 주석들이 노이즈라는 것을 보여줍니다. 이러한 오류들은 작은 객체의 IoU 민감도로 인해 더욱 심각해지며, 심지어 미세한 편차가 로케이션 품질을 극적으로 변화시킬 수 있습니다. 2픽셀의 이동은 10×10 객체에 대해 20% 이상의 IoU 감소를 초래할 수 있지만, 같은 오류는 100×100 객체에 대해 약 5%만 저하시킵니다. 이러한 조건에서 엄격한 로케이션 기준(예: 1.0 IoU)을 최적화하면 모델은 애노테이션 노이즈에 과적합하는 대신 효과적인 회귀를 학습하게 됩니다. 그림 1 (b)에서 보듯, 과적합은 배경 지역에서 잘못된 긍정 결과를 증가시킵니다. 또한 우리는 학습 시간 라벨 노이즈에 대한 영향을 정량화하기 위한 민감성 분석을 수행했습니다. 우리는 학습 주석의 중심에 표준 편차 $`\sigma \in \{1.0, 2.0, 3.0\}`$ 픽셀인 가우시안 노이즈를 주입하고 깨끗한 데이터에서 평가했습니다. 그림 1 (d)에 보듯, 모든 규모에서 성능은 증가하는 노이즈 수준과 함께 감소하며, 작은 객체는 가장 큰 저하를 보입니다. $`\sigma=3.0`$ 픽셀에서 전체 AP는 40.0% 줄어들며, 매우 작은 및 작은 객체의 AP는 각각 66.7%가 감소합니다. 이러한 애노테이션 노이즈에 대한 높은 민감도는 작은 객체 감지에서 견고한 로케이션 목표의 중요성을 강조합니다.

이 분석을 바탕으로, 우리는 Tiny Object Localization Flow (TOLF)를 소개합니다. TOLF는 정규화 흐름을 활용하여 불확실성 및 애노테이션 노이즈를 고려한 유연한 예측 분포 모델링 프레임워크입니다. 기존의 가우시안 가정이나 고정된 사전에 의해 제약받는 불확실성 방법과 달리, TOLF는 예측 및 노이즈 애노테이션 간의 오류 분포를 명시적으로 학습하기 위해 역가능 정규화 흐름을 사용합니다. 이를 통해 TOLF는 복잡한 노이즈 구조, 즉 heavy tails, 왜곡, 다중성 등을 포착할 수 있습니다. 또한 TOLF의 손실은 불확실성을 고려합니다. 불확실성 기반 가중치를 통해 애노테이션 오류에 대한 과적합을 억제하고 심각한 노이즈 조건하에서도 안정적인 학습을 유지함으로써, 이는 이상값이 손실 경로를 지배하는 것을 방지합니다. 유연한 오차 모델링과 불확실성을 고려한 최적화를 통합하여 TOLF는 원천에서 과적합을 완화하고 견고한 로케이션 및 향상된 정확도를 달성하는 원칙적인, 데이터 주도형 솔루션을 제공합니다.

style="width:80.0%" />

요약하자면, 우리의 주요 기여들은 다음과 같습니다:

1. 작은 객체 감지기는 애노테이션 노이즈에 매우 취약하다는 것을 보였으며, 엄격한 로케이션 목표가 노이즈 라벨에 과적합하는 위험을 가진다는 점을 보여주었습니다. 이를 해결하기 위해 우리는 TOLF, 유연한 분포 모델링을 사용하는 견고한 로케이션 프레임워크를 제안합니다.
2. TOLF는 복잡하고 비가우시안 오류 패턴을 포착하기 위한 정규화 흐름 기반 오차 모델링 구성 요소와 고불확실성, 노이즈 취약 샘플로부터 그라디언트를 적응적으로 억제하는 불확실성을 고려한 그라디언트 조절 메커니즘을 통합합니다.
3. TOLF는 훈련 안정성을 크게 개선하고 작은 객체 감지기의 최신 상태 정확도를 앞당기며, 고정된 사전 또는 가우시안 가정에 의존하는 기존 불확실성 모델링 접근 방식에 대한 원칙적인 데이터 주도형 대안을 제공합니다.

관련 연구

작은 객체 감지

딥 컨볼루션 뉴럴 네트워크(DNN)의 발전으로 인해 객체 감지 작업이 크게 향상되었습니다. 그러나 이러한 진보에도 불구하고, 본질적으로 제한적인 픽셀 입력을 가지는 작은 객체 감지는 여전히 어려운 문제입니다. 주요 어려움은 약한 특징 표현, 다운샘플링 중에 정보 손실 및 IoU 계산의 민감성 증가로 인해 양성 샘플 할당 수가 줄어들어 발생합니다. 이러한 문제를 해결하기 위한 기존 방법들은 크게 네 가지 범주로 나눌 수 있습니다: 특징 향상, 데이터 증강, 스케일에 대한 학습 및 초해상도 기반 접근법.

주요 연구 방향 중 하나는 다중 해상도 특징 표현 개선입니다. SSD는 다양한 해상도의 특징을 사용하여 객체를 감지합니다. FPN은 상위-하위 경로와 측면 연결을 통해 스케일 간의 의미적 및 공간 정보를 융합하는 방법론을 도입했습니다. 이 프레임워크는 PANet과 Recursive-FPN 등의 방법으로 확장되었습니다. TridentNet은 다양한 객체 크기에 맞추어 설계된 여러 가지 수용 필드를 갖춘 다중 브랜치를 사용하여 다중 해상도 감지를 더욱 강화합니다. SET은 이질적인 아키텍처에서 작은 객체의 주파수 서명을 증폭시킵니다.

표준 증강(예: 퍼지, 회전, 크기 조정)을 넘어서, Kisantal *et al.*은 학습 이미지 내에서 작은 객체를 오버샘플링하고 복사하여 감지를 개선합니다. 최근의 적은 샷 객체 감지(FSOD) 발전 또한 작은 객체 카테고리의 데이터 희소성 문제를 완화하기 위해 교차 모달 지식 전송의 역할을 강조합니다.

감지기는 종종 객체 크기에 따른 정확성을 유지하는 데 어려움을 겪습니다. SNIP은 특정 스케일 구간 내의 객체에 대한 학습만 제한합니다. UGS는 객체 로케이션을 분류 작업으로 재구성하여 작은 객체의 그라디언트를 안정화시킵니다.

몇몇 방법들은 초해상도 기술을 사용하여 작은 객체 특징을 향상시키려고 합니다. PGAN은 감지 파이프라인에 GAN 기반 초해상도를 통합합니다. 그러나 이러한 접근법은 종종 높은 학습 및 추론 비용을 수반합니다. 최근의 전략들은 작은 객체에 대한 회상력과 로케이션 정밀도 향상을 위해 개선된 라벨 할당 및 제안 세분화를 강조하고 있습니다.

기존 TOD 방법들과는 독립적으로, 우리의 접근법은 애노테이션 노이즈 과적합을 해결하기 위한 새로운 관점을 통해 작은 객체 감지에 접근합니다.

불순한 라벨 학습

노이즈는 현대 머신러닝 패러다임에서 중요한 구성 요소로 부상했습니다. 드롭아웃 계층은 구조적 확률성을 주입하고, 적대적 훈련은 강건성을 위한 변동을 활용하는 것처럼, 노이즈 기반 메커니즘은 이제 일반화, 안정성 및 수렴을 개선하기 위해 중요한 역할을 합니다. 최근 연구는 예측 내에서 암묵적인 형태의 불확실성이 모델의 약점을 드러내는 데 어떻게 유도력이 있는지 강조하고 있습니다. 이러한 발전은 이익이 되는 노이즈 학습으로의 전환에 맞춰져 있으며, 제어된 노이즈 주입 또는 활용이 성능을 향상시킵니다.

라벨 노이즈는 의료 진단과 같은 작업에서 일관성 없는 애노테이션으로 인해 모델을 오도할 위험을 초래합니다. DAL은 적응적으로 맞춤화된 손실 함수를 도입하여 적합성과 강건성을 균형지어 학습하며, 자기 조절 학습 프레임워크는 의료 지침을 활용하여 라벨 노이즈를 탐지하고 완화함으로써 다중 질병 진단 작업에서 해석 가능성 및 성능을 향상시킵니다. 이러한 접근법은 라벨 민감적 응용 프로그램에서의 강건성과 신뢰성을 개선하기 위한 노이즈 감지 학습의 중요성을 강조합니다.

멀티모달 학습 내부의 노이즈: 멀티모달 학습은 불완전하거나 부정확한 데이터 스트림에 대한 심각한 도전을 직면해야 합니다. 전통적인 접근법, 예를 들어 불완전한 멀티모달 프레임워크는 신뢰할 수 없는 채널의 가중치를 조절하고 잠재적으로 교차 모달 일관성을 유지하면서 저품질 또는 누락된 신호를 다룹니다. 이러한 방어적 전략을 넘어서, 최근 연구는 신중하게 설계된 노이즈가 멀티모달 학습을 강화할 수 있다는 것을 밝혀냈습니다. 비전-언어 모델에서는 고의적으로 주입된 노이즈가 페르터버스에 대한 강건성을 강화함으로써 교차 모달 일치를 강화합니다. 또한 대조 학습 프레임워크에서, 일반적인 데이터 증강은 정확한 인센티브 노이즈로 재해석되어 표현 학습을 향상시킵니다. 이러한 접근법들은 공통적으로 불완전하거나 부정확한 모달성이 단순히 해롭하게 취급되지 않아야 함을 보여줍니다. 대신 이런 결함들을 이익이 되는 노이즈 주입의 기회로 재해석하면, 멀티모달 프레임워크는 강건성을 향상시키고 더 나은 일치 및 우수한 일반화 능력을 달성할 수 있습니다.

이미지 분류에 비해 객체 감지는 더욱 다양하고 복잡한 라벨 노이즈를 직면합니다. 이 노이즈는 주로 네 가지 유형으로 나타납니다: 빠진 라벨, 추가된 라벨, 클래스 변위 및 부정확한 박스입니다. 일부 이전 연구는 모든 유형의 노이즈가 발생한다고 가정하고 동시에 모든 유형의 노이즈를 다루려고 시도하지만, 다른 연구들은 특정 유형의 노이즈(예: 부정확한 박스)에 집중합니다.

이러한 발전은 안전성이 요구되는 실세계 설정에서 노이즈 강건 학습의 필수성을 확립했습니다. 특히 작은 객체 감지(TOD)에서는 애노테이션 노이즈가 로케이션 정확성 및 안정성을 저해하여 우리의 조사를 동기부여합니다.

style="width:100.0%" />

방법

이 섹션에서는 노이즈 애노테이션 하에서 견고한 작은 객체 로케이션에 대한 접근법을 제시합니다. 먼저 기존 로케이션 불확실성 모델링 패러다임의 한계를 분석하고(TOLF 프레임워크), 유연한 예측 분포 학습과 불확실성을 고려한 최적화를 동시에 수행하는 TOLF 프레임워크를 소개합니다.

로케이션 불확실성 모델링

기존의 감지기에 따르면, 로케이션 목표 및 예측을 다음과 같이 표시합니다.

\begin{equation}
\begin{split}
    \{T_{x}, T_{y}, T_{w}, T_{h}\} &= \{\frac{x - x_a}{w_a}, \frac{y - y_a}{h_a}, \log\frac{w}{w_a}, \log\frac{h}{h_a}\}, \\
    \{\hat{T}_{x}, \hat{T}_{y}, \hat{T}_{w}, \hat{T}_{h}\} &= \{\frac{\hat{x} - x_a}{w_a}, \frac{\hat{y} - y_a}{h_a}, \log\frac{\hat{w}}{w_a}, \log\frac{\hat{h}}{h_a}\},
\end{split}
\end{equation}

여기서 $`(x_a, y_a, w_a, h_a)`$는 앵커 좌표를 나타내며, $`(x, y, w, h)`$는 지상 참조 좌표이고, $`(\hat{x}, \hat{y}, \hat{w}, \hat{h})`$는 예측된 좌표입니다. $`\mathcal{L}_2`$ 손실은 다음과 같이 정의됩니다:

\begin{equation}
    \begin{split}
        \mathcal{L}_{2}(T_{x}, \hat{T}_{x}) = \|T_{x} - \hat{T}_{x}\|_2^2,
    \end{split}
\label{eq1}
\end{equation}

이는 $`y`$, $`w`$, 및 $`h`$에도 적용될 수 있습니다. 단순화를 위해, 우리는 $`T`$를 변환 매개변수로 사용합니다.