초파리 사회 행동 분석을 위한 이차원 삼차원 하이브리드 CNN 프레임워크

초록

본 논문은 초파리의 사회적 행동을 정밀히 정량화하기 위해 2D 영상 기반 개체 검출·추적과 3D 시공간 상호작용 모델링을 결합한 하이브리드 CNN 프레임워크를 제안한다. 2D‑CNN은 개체의 위치와 자세를 실시간으로 추출하고, 3D‑CNN은 시간축을 포함한 볼륨 데이터를 이용해 군집 행동 패턴을 학습한다. 대규모 실험을 통해 기존 방법 대비 정확도와 재현성이 크게 향상됨을 입증하였다.

상세 분석

이 연구는 초파리 사회 행동을 자동화된 이미지 분석으로 정량화하려는 시도에서 중요한 기술적 진전을 제시한다. 먼저 2D‑CNN 모듈은 최신 객체 검출 네트워크(예: YOLOv5)를 기반으로 하여 고해상도 영상에서 개별 초파리를 실시간으로 검출하고, 포즈 추정 네트워크를 통해 몸통·날개·다리 등의 주요 관절 좌표를 추출한다. 이 단계에서 데이터 증강과 다중 스케일 피처 피라미드를 적용해 작은 크기의 초파리도 높은 검출률을 보인다. 검출된 2D 좌표는 카메라 보정 파라미터와 함께 3D 재구성 파이프라인에 입력되어, 다중 카메라 시점에서의 삼차원 위치를 추정한다.

3D‑CNN 모듈은 시간 축을 포함한 4차원 텐서(시간·높이·너비·채널)를 입력으로 받아, 군집 내 상호작용 패턴을 학습한다. 여기서 저자들은 3D ResNet‑18 구조를 변형해 시공간 컨볼루션 커널을 적용하고, 행동 유형(접촉, 추격, 회피 등)을 다중 라벨로 분류하도록 설계하였다. 특히, 행동 전후의 전이 확률을 모델링하기 위해 시퀀스 레벨에서의 LSTM‑attention 블록을 추가함으로써, 동적 행동 변화를 정밀히 포착한다.

하이브리드 아키텍처는 2D‑CNN에서 추출된 개체 레벨 피처와 3D‑CNN에서 학습된 군집 레벨 피처를 결합한다. 피처 융합은 고차원 벡터를 공동 임베딩 공간에 매핑한 뒤, 최종 분류기를 통해 행동 라벨을 예측한다. 이 과정에서 손실 함수는 개체 검출 손실, 포즈 회귀 손실, 행동 분류 손실을 가중합한 다중 태스크 손실을 사용해 전반적인 최적화를 수행한다.

데이터셋 구축 측면에서 저자들은 10가지 유전형 및 약물 처리 조건을 포함한 5,000개 이상의 비디오 클립을 수집했으며, 각 클립은 30초 길이의 120 fps 영상으로 구성된다. 라벨링은 전문가가 직접 수행했으며, 행동 라벨링 정확도는 0.95 이상으로 검증되었다. 실험 결과, 제안된 하이브리드 모델은 기존 2D‑CNN 단일 모델 대비 평균 정확도 12 %p, F1‑score 0.09p 상승을 기록했으며, 특히 복잡한 군집 행동(다중 접촉·동시 회피)에서 뛰어난 구분 능력을 보였다.

또한, Ablation Study를 통해 2D‑CNN과 3D‑CNN 각각의 기여도를 정량화했으며, 피처 융합 없이 개별 모듈만 사용할 경우 성능 저하가 뚜렷함을 확인했다. 한계점으로는 카메라 배치에 따른 재구성 오차와 실시간 처리 속도가 아직 연구 단계 수준에 머물러 있다는 점을 언급한다. 향후 연구에서는 경량화 모델과 GPU‑Edge 디바이스 최적화를 통해 실시간 현장 적용을 목표로 하고 있다.