CNN 기반 객체 검출·포즈 추정 통합 연구: 표현 방식 비교와 최적화

초록

본 논문은 CNN을 활용해 정지 이미지에서 객체를 검출하고 3D 회전(azimuth) 자세를 동시에 추정하는 방법을 탐구한다. 객체 카테고리는 이산형, 자세는 연속형이라는 특성을 반영해 ‘이산화된 자세 분류’, ‘연속 회귀(원형 표현)’, ‘분류와 연속 회귀 결합’ 등 세 가지 특징 표현 방식을 제안하고, 동일한 Spatial Pyramid Pooling(SPP) 기반 네트워크에 각각 적용한다. Pascal3D+ 데이터셋의 Average Viewpoint Precision(AVP) 기준 실험 결과, 자세를 사전 정의된 구간으로 이산화한 분류 방식이 가장 높은 성능을 보이며 기존 DPM 기반 방법들을 크게 앞선다. 또한, 검출과 자세 추정을 공동 학습함으로써 객체 검출 정확도 역시 향상됨을 확인한다.

상세 분석

이 논문은 객체 검출과 자세 추정이라는 두 개의 서로 상충되는 요구를 하나의 CNN 프레임워크 안에서 해결하려는 시도를 체계적으로 분석한다. 첫 번째로, 자세를 P개의 구간으로 이산화하고 각 구간을 별도의 클래스로 취급하는 ‘Discrete Pose Classification’ 방식을 도입한다. 이는 기존 객체 검출 파이프라인에 softmax와 교차 엔트로피 손실을 그대로 적용할 수 있어 구현이 간단하고, 다중 클래스( N × P + 1) 구조에서도 학습이 안정적이다. 두 번째 접근인 ‘Continuous Regression’은 자세를 연속적인 각도로 모델링한다. 저자는 각 자세를 단위 원 위의 점( cos θ, sin θ, 0 )으로 매핑하고, 배경(negative) 샘플은 원으로부터 충분히 멀리 떨어지도록 설계된 손실 함수(L_pos, L_neg)를 사용한다. 여기서 L_neg은 거리 제곱에 대한 지수 감소 형태이며, δ와 K 파라미터를 통해 배경과 전경 사이의 구분 강도를 조절한다. 이 방식은 회전 각도의 미세한 변화를 자연스럽게 반영하지만, 원 자체가 2차원에 국한될 경우 로컬 최소점 문제가 발생하므로 3차원 공간에 원을 배치해 해결한다. 세 번째 방식인 ‘Joint Classification and Continuous Pose Estimation’은 앞선 두 접근의 장점을 결합한다. 클래스별 확률 벡터와 자세를 나타내는 연속형 특징을 동시에 출력하도록 설계했으며, 자세 특징의 매니폴드 형태를 (a) 모든 클래스가 공유하는 단일 원, (b) 클래스당 별도 원, (c) 클래스당 원기둥(3차원) 등으로 다양하게 실험한다. 각 경우에 맞는 손실 함수를 정의해 학습을 진행한다.
네트워크 구조는 He et al. (2014)의 Spatial Pyramid Pooling(SPP) 기반 ‘Zeiler5’ 모델을 사용한다. 이미지 전체에 대해 convolutional 레이어를 사전 학습된 ImageNet 가중치로 고정하고, selective search로 추출된 후보 영역을 공유된 특징 맵에서 풀링한 뒤, 세 개의 fully‑connected 레이어만을 새롭게 학습한다. 이렇게 하면 첫 번째 레이어의 일반적인 시각적 표현을 그대로 활용하면서도, 작은 데이터셋(Pascal3D+)에 대해 효율적으로 파인튜닝할 수 있다.
실험은 Pascal3D+의 12개 카테고리에 대해 수행했으며, 평가 지표는 객체 검출과 자세 추정을 동시에 고려하는 AVP(Average Viewpoint Precision)를 사용한다. 결과는 이산화된 자세 분류 방식이 AVP 점수에서 가장 우수함을 보여준다. 특히, 24구간( P = 24)으로 이산화했을 때 기존 DPM 기반 방법( Pepik et al., 2012) 대비 7~10%p 상승을 기록한다. 연속 회귀 방식은 평균적인 자세 오차는 낮지만, AVP 측면에서는 이산화 방식에 비해 뒤처진다. 공동 학습 모델은 검출 AP에서도 약 2%p 향상을 보이며, 자세 추정 성능도 유지한다. 이는 검출과 자세 추정이 서로 보완적인 신호를 제공한다는 가설을 실증한다.
전체적으로 논문은 ‘표현 선택’이 joint task 성능에 미치는 영향을 정량적으로 분석하고, 간단하면서도 효과적인 이산화 분류가 현재 데이터와 연산 제약 하에서 최선임을 제시한다. 또한, SPP 기반 공유 특징 추출과 최소한의 파인튜닝만으로도 복합적인 비전 작업을 수행할 수 있음을 입증한다.