경로 제어 DETR: 객체 탐지 트랜스포머의 효율적 쿼리 경쟁 해법

초록

DETR는 객체 탐지에서 수작업 요소를 제거했지만, 여러 쿼리가 동일 객체에 수렴하는 비효율적 경쟁 문제가 있습니다. Route-DETR은 디코더의 자기 주의층에 적응형 쌍별 경로 제어를 도입하여, 경쟁 쿼리 간의 중복을 억제하고 서로 다른 영역을 탐색하도록 유도합니다. 학습 시에만 적용되는 이 메커니즘은 추론 비용을 증가시키지 않으면서 COCO 및 Cityscapes 데이터셋에서 DINO 대비 최대 1.7% mAP 향상을 달성했습니다.

상세 분석

Route-DETR의 핵심 기술적 통찰은 디코더 내 쿼리 간 상호작용을 ‘경쟁’과 ‘보완’ 관계로 명시적으로 구분하고, 각 관계에 맞춰 비대칭적인 주의 메커니즘을 적용한다는 점입니다. 기존 DETR의 자기 주의는 모든 쿼리 쌍에 대해 대칭적인 연산을 수행하여, 서로를 방해하는 경쟁 관계의 쿼리들이 불필요한 계산을 반복하도록 만드는 근본적 한계가 있었습니다.

이를 해결하기 위해 제안된 ‘억제기 경로’와 ‘위임자 경로’는 저차원의 학습 가능한 주의 편향으로 구현됩니다. 억제기 경로는 쿼리 간 유사도, 신뢰도 점수, 기하학적 정보를 기반으로 계산된 게이팅 값이 높을 때 활성화되어, 주의 로짱에 음의 편향을 더해 경쟁 쿼리 간의 상호작용을 약화시킵니다. 반대로 위임자 경로는 양의 편향을 더해 쿼리가 서로 다른 영역에 주의를 기울이도록 독려합니다. 이 저차원 표현과 게이팅 메커니즘은 계산 오버헤드를 최소화하면서도 복잡한 쿼리 관계를 모델링할 수 있게 합니다.

가장 주목할 만한 설계는 ‘이중 분기 학습 전략’입니다. 주 분기는 표준 자기 주의를 유지하여 안정적인 수렴을 보장하고, 보조 분기에서만 경로 제어 편향을 적용합니다. 최종 손실은 두 분기의 가중합으로 계산되며, 추론 시에는 경로 제어 모듈이 완전히 제거된 주 분기만 사용됩니다. 이는 학습 과정에서 쿼리 표현의 전문성을 향상시키는 동시에, 추론 시에는 추가적인 계산 비용이나 구조 변경을 전혀 유발하지 않는 우아한 해법입니다. 실험 결과는 단순히 성능 지표를 높이는 것을 넘어, 특히 중형 및 대형 객체 탐지에서의 향상폭이 두드러져, 제안 방법이 객체 크기별 쿼리 경쟁 역학을 효과적으로 조절했음을 보여줍니다.