iiANET 장거리 의존성을 효율적으로 포착하는 인셉션 영감 어텐션 하이브리드 네트워크

초록

본 논문은 CNN과 Vision Transformer의 장점을 결합한 하이브리드 백본인 iiANET을 제안한다. 핵심 구성요소인 iiABlock은 병렬로 배치된 변형된 전역 r‑MHSA와 다중 컨볼루션 브랜치를 통해 로컬 디테일과 전역 컨텍스트를 동시에 학습한다. 레지스터 토큰을 활용한 r‑MHSA는 장거리 의존성을 효율적으로 모델링하면서 해석 가능성을 높이고, ECANet 기반 채널 재조정과 채널 셔플링 융합 전략으로 연산량을 최소화한다. AID, Viaduct 등 복합 장면 데이터셋에서 ResNet‑50, ViT‑B/224 등 기존 SOTA 모델을 능가하는 정확도를 기록한다.

상세 분석

iiANET은 기존 CNN‑ViT 하이브리드 설계가 안고 있던 “전역 컨텍스트와 로컬 디테일의 불균형”, “연산 복잡도 급증”, “특징 융합 시 정보 손실” 문제를 구조적 혁신으로 해결한다. 핵심인 iiABlock은 세 개의 병렬 브랜치를 갖는다. 첫 번째는 1×1‑축소‑3×3‑depthwise‑1×1‑확장 구조의 인버티드 Bottleneck으로, 파라미터 효율성을 유지하면서 저레벨 텍스처와 에지 정보를 추출한다. 두 번째는 3×3 atrous convolution(확장률 r)을 도입해 수용 영역을 크게 늘리면서도 해상도와 연산량을 보존한다. 세 번째는 전역 2D r‑MHSA이며, 기존 MHSA에 레지스터 토큰(RQK, RV)을 추가해 입력 이미지 전체에 대한 self‑attention을 수행한다. 레지스터 토큰은 낮은 정보 영역에서 발생하는 노이즈를 억제하고, 학습 과정에서 토큰 자체가 중요한 전역 힌트를 제공하도록 설계되었다. 또한 상대 위치 인코딩을 Q·K에 더함으로써 순열 불변성을 보완하고, 공간적 관계를 명시적으로 학습한다.

어텐션 출력과 컨볼루션 출력은 채널 차원에서 concat 후 channel‑shuffle를 적용한다. 이는 서로 다른 스케일·특성의 교차 상호작용을 촉진하면서도 복잡한 교차‑어텐션 연산을 회피한다. 채널 비율(1:6:1)이라는 경험적 비율은 실험을 통해 최적화되었으며, 이는 로컬·전역·채널‑특이적 의존성을 균형 있게 반영한다.

채널 재조정 단계에서는 ECANet을 채택한다. ECANet은 1D convolution 기반의 효율적인 채널 어텐션을 제공해, SENet 대비 파라미터와 FLOPs를 크게 절감하면서도 채널 중요도를 정교하게 스케일링한다. 이 과정에서 1×1 stride‑2 convolution을 이용해 단계별 다운샘플링을 수행, 메모리 사용량을 제한한다.

연산 복잡도 측면에서, r‑MHSA는 입력 토큰 수 N=H·W에 대해 O(N·d·h)·(1+r) 정도의 비용을 갖으며, 레지스터 토큰 수 N_R는 일반적으로 48 수준으로 제한해 메모리 부하를 최소화한다. 인버티드 Bottleneck과 atrous convolution은 각각 O(C·k²·HW)와 O(C·k²·HW) 수준이며, 전체 블록은 기존 ConvNeXt‑B와 비교해 1520% 정도 연산량을 절감한다.

실험에서는 AID(항공 이미지)와 Viaduct‑Mountain‑Storage‑River 복합 데이터셋을 포함한 5개 벤치마크에서 iiANET‑B(베이스)와 iiANET‑L(라지) 모델을 평가하였다. Top‑1 정확도는 ResNet‑50(71.93%) 대비 +8.6%, ViT‑B/224(69.93%) 대비 +10.6% 향상되었으며, DiNAT‑B(79.12%)도 능가하였다. 또한 Grad‑CAM 시각화 결과, iiANET은 전역 구조를 포착하면서도 세부 영역을 명확히 강조해 해석 가능성이 크게 개선된 것을 확인했다.

종합적으로, iiANET은 (1) 병렬 로컬·전역 브랜치 설계, (2) 레지스터 기반 r‑MHSA와 상대 위치 인코딩, (3) ECANet 기반 채널 재조정, (4) 효율적인 채널 셔플링 융합이라는 네 가지 핵심 메커니즘을 통해 하이브리드 비전 모델의 설계 복잡도와 연산 비용을 크게 낮추면서도 장거리 의존성 모델링 능력을 강화한다. 이는 차세대 경량·고성능 백본으로서 다양한 CV 응용(분할, 검출, 영상 이해)에서 활용 가능성을 시사한다.