UAV 영상 분할을 위한 고속 회전 불변 컨볼루션 기술

초록

UAV 영상에서 객체의 방향이 제각각이므로 회전 불변성이 정확한 분할에 필수적입니다. 기존 방법은 필터를 여러 방향으로 복제해 계산 부하가 큽니다. 본 연구는 GPU에 최적화된 새로운 컨볼루션 방식을 제안합니다. 데이터 변환 단계를 제거하고 대칭 회전 간 가중치 공유를 활용해 메모리 트래픽과 계산량을 대폭 줄였습니다. 이를 U-Net에 적용하면 기준 대비 최대 5.7% 정확도 향상과 함께, cuDNN 대비 20-57% 빠른 학습 속도와 15-45% 낮은 에너지 소비를 달성했습니다.

상세 분석

본 논문의 핵심 기술적 기여는 ‘Scatter(분산) 방식’ 컨볼루션 연산을 도입하여 회전 불변 컨볼루션의 효율성을 혁신적으로 개선한 점에 있습니다. 기존 행렬 곱셈 기반 컨볼루션(예: im2col)은 입력 데이터를 중복하여 변환하는 ‘데이터 로워링’ 과정에서 막대한 메모리 트래픽과 대역폭 병목을 초래합니다. 제안 방법은 이 과정을 완전히 제거합니다. 대신, 각 입력 픽셀에 필터 가중치를 곱한 결과를 ‘목적지 출력 위치들’에 직접 분산시키는 역방향 데이터 흐름을 채택합니다. 이 scatter 매핑은 연산의 본질을 변화시키지 않으면서 중간 데이터의 차원을 크게 줄입니다.

이 scatter 방식을 회전 불변성에 적용할 때 결정적인 최적화가 이루어집니다. 대칭 회전(90°, 180°, 270°)된 필터들은 본질적으로 동일한 가중치 집합의 재배열입니다. 제안 방법은 이 구조적 공유를 명시적으로 활용하여, 한 번의 곱셈 결과를 모든 대칭 방향에 재사용할 수 있도록 합니다. 이는 4방향 대칭 회전 시 이론적으로 4배의 계산 중복을 제거하는 효과를 냅니다. 나아가 이 프레임워크를 비대칭 임의 각도의 회전으로 일반화하여, 보간 등을 통해 연속적인 회전 변환에도 효율적으로 대응할 수 있도록 확장했습니다.

실험 결과에서 제안 방법의 효율성과 실용성이 입증되었습니다. 8방향 설정에서 256x256 입력에 대해 cuDNN 대비 최대 45% 속도 향상과 41% 에너지 절감을 보였으며, 더 큰 1024x1024 입력에서도 32% 속도 향상을 유지했습니다. 이는 메모리 접근 패턴과 계산 중복 제거의 효과가 입력 크기에 관계없이 확장됨을 의미합니다. 더 중요한 것은, 이러한 효율성 덕분에 기존 방법으로는 GPU 메모리 한계로 실행이 불가능했던 16방향과 같은 고해상도 방향 샘플링을 실용적으로 가능하게 했다는 점입니다. 이는 정확도 향상의 새로운 가능성을 열었으며, 계산 효율성과 표현력(정확도) 간의 트레이드오프 관계를 재정의했습니다.