협업 인식 효율성을 위한 하이브리드 융합 강인 아키텍처 CoRA

초록

CoRA는 중간 융합의 높은 정확도와 후기 융합의 강인성을 결합한 이중‑브랜치 구조를 제안한다. 경쟁적 정보 전송(CIT) 모듈로 필수 특징만을 선택·전송하고, 경량 협업(LC) 모듈로 효율적인 특징 융합을 수행한다. 또한 포즈‑인식 보정(PAC) 모듈이 객체 수준에서 위치 오차를 보정해 악조건에서도 성능 저하를 최소화한다. 실험 결과, 극한의 통신·포즈 오류 상황에서도 기존 방법 대비 AP@0.7이 19 % 향상되고, 통신량은 5배 이상 감소하였다.

상세 분석

본 논문은 협업 인식 시스템이 직면한 두 가지 핵심 문제—통신 대역폭 제한과 포즈 오차에 의한 데이터 정렬 실패—를 동시에 해결하고자 한다. 기존 연구는 주로 중간 융합(intermediate fusion)에 의존해 고성능을 달성했지만, 이는 전제 조건으로 정확한 좌표 정렬을 요구한다. 실제 V2X 환경에서는 GPS·IMU 오차, 패킷 손실 등으로 인해 전송된 포즈 정보가 왜곡되며, 이때 중간 융합은 특징 맵이 서로 어긋나면서 성능이 급격히 붕괴한다. 반면 후기 융합(late fusion)은 객체 레벨에서 개별 검출 결과를 단순히 합치기 때문에 포즈 오차에 비교적 강인하지만, 저수준 컨텍스트 정보를 활용하지 못해 정확도 상한이 낮다.

CoRA는 이러한 상반된 특성을 “보완적인 쌍”으로 재해석하고, 두 융합 방식을 병렬 이중‑브랜치로 결합한다. 첫 번째 브랜치인 특징‑레벨 융합은 Competitive Information Transmission(CIT) 모듈을 통해 ego 차량이 실제로 필요로 하는 영역에 대해 협력 차량에게 요청을 전송한다. 협력 차량은 경량 마스크(Q)와 함께 해당 영역의 특징만을 반환함으로써, 전송량을 협력 차량 수와 무관하게 거의 일정하게 유지한다. 이후 Lightweight Collaboration(LC) 모듈이 CSSM(협업 상태공간 모델) 기반의 시퀀스‑투‑시퀀스 구조와 게이팅 유닛을 활용해, 선택된 특징들을 ego의 자체 특징과 정교하게 융합한다. 여기서 특징 증류(distillation) 손실을 도입해, 훈련 단계에서 완전한 특징 맵을 교사 네트워크로 사용함으로써 희소 특징이 놓칠 수 있는 정보를 보완한다.

두 번째 브랜치인 객체‑레벨 보정은 Pose‑Aware Correction(PAC) 모듈을 통해 구현된다. PAC는 각 협력 차량이 제공한 클래스·회귀 맵을 ego의 맵과 비교하여, 위치 임베딩과 교차‑에이전트 어텐션을 이용해 매칭 점수를 산출한다. 이 매칭 점수는 포즈 오차에 의해 발생한 객체 위치 불일치를 정량화하고, 고신뢰도 검출에 가중치를 부여해 재정렬한다. 결과적으로, 포즈 오차가 존재하더라도 객체 수준에서 정확한 위치 정보를 복원할 수 있다.

실험에서는 OPV2V와 V2X‑Seq 등 두 대규모 벤치마크를 사용해, 다양한 포즈 오차(00.5 m, 05°)와 통신 제한(≤4 MB) 상황을 시뮬레이션하였다. CoRA는 기본 중간 융합 기반 모델 대비 AP@0.7에서 평균 19 % 상승을 보였으며, 통신량은 82 % 절감했다. 특히 협력 차량 수가 8명까지 늘어나도 통신량은 거의 변하지 않아 확장성도 검증되었다. Ablation 연구에서는 CIT 없이 전통적인 전송 방식을 사용할 경우 통신량이 선형적으로 증가하고, PAC 없이 포즈 오차가 0.3 m 이상일 때 성능이 급락함을 확인했다.

핵심 기여는 다음과 같다. (1) 중간·후기 융합의 장점을 동시에 활용하는 이중‑브랜치 아키텍처 제안, (2) 수신‑중심의 on‑demand 전송을 구현한 CIT 모듈과 경량 협업을 위한 LC 모듈 설계, (3) 객체‑레벨에서 포즈 오차를 보정하는 PAC 모듈 도입, (4) 제한된 대역폭·불안정한 포즈 환경에서도 기존 최첨단 방법을 능가하는 실험적 증명.

한계점으로는 현재 구현이 2D 라이다 베이스이며, 고차원 이미지·레이더 융합에 대한 확장은 미진하다. 또한, 포즈 오차 모델이 단순 가우시안 노이즈에 기반해 있어, 실제 도시 환경에서 발생하는 비선형 왜곡에 대한 평가가 추가로 필요하다. 향후 연구에서는 멀티모달 센서와 비동기 통신을 고려한 확장, 그리고 학습‑시점에 포즈 오류를 직접 추정·보정하는 end‑to‑end 프레임워크를 탐색할 여지가 있다.