CHIRP 데이터셋: 야생 조류 개체별 장기 행동 모니터링을 위한 종합 비전 도구

본 논문은 야생 조류 개체별 장기 행동 모니터링을 위한 종합 데이터셋과 새로운 재식별 파이프라인을 제시한다. 연구 배경으로는 행동 변화가 환경 변화와 진화 과정에서 핵심 지표이지만, 기존 컴퓨터 비전 기반 자동화는 단일 과제(예: 객체 검출, 재식별, 행동 인식) 중심이라 실제 현장 적용에 한계가 있었다. 이를 해결하기 위해 스웨덴 라플란드의 시베리아 까마귀(Siberian jay) 군집을 9년(2014‑2022) 동안 지속적으로 촬영한 443개의 15‑30분 길이 영상에서 데이터를 수집하였다. 각 새는 알루미늄 링과 2~3개의 색상 플라스틱 링(총 11색)으로 식별 가능하도록 마킹했으며, 이는 최대 1 331개의 고유 조합을 만든다. 데이터셋은 크게 다섯 가지 주요 과제로 구성된다. 1) **비디오 재식별(re‑id) 데이터**: 16 190개의 1초 클립(25프레임)으로 구성되며, 183마리 개체를 포함한다. 개체당 평균 89개의 샘플이 존재하고, 32 %는 다년간 관찰된 개체다. 데이터는 Closed‑set(전체 개체가 학습·테스트에 모두 포함), Disjointed(학습·테스트 개체가 구분), Open‑set(새로운 개체를 “unknown”으로 처리) 세 가지 스플릿으로 제공된다. 또한 각 영상에 영역 내·인접 개체 리스트를 메타데이터로 제공해 도메인 지식 기반 후보 제한이 가능하도록 설계했다. 2) **행동 인식 데이터**: 1 378개의 행동 클립을 “먹이 섭취(eat)”, “복종(submissive)”, “기타(others)” 세 클래스로 라벨링했다. 평균 66.7프레임(≈2.7 s) 길이이며, YOLOv8 기반 트래킹으로 자동 추출 후 인간이 최종 검수했다. 3) **2D 키포인트 데이터**: 13개의 관절(머리, 꼬리, 양다리 등)에 대해 1 176개의 개체 인스턴스(879이미지)에서 키포인트를 수동 라벨링했다. 36 %는 먹이대 위, 64 %는 지면에서의 포징을 포함한다. 4) **객체 검출·인스턴스 분할 데이터**: 1 156프레임(1 669개 인스턴스)에 바운딩 박스와 마스크를 제공한다. 마스크는 SAM2 모델을 이용해 자동 생성 후 인간 검증을 거쳐 품질을 확보했다. 5) **다리링 세그멘테이션 데이터**: 색상 링을 정확히 구분하기 위한 마스크와 색상 라벨을 제공한다. 핵심 기술인 **CORVID**(COlouR‑based Video re‑ID)는 다리링 세그멘테이션 → 색상 조합 분류 → 확률 기반 매칭의 3단계 파이프라인이다. 색상 링만을 집중해 작은 영역에서도 높은 구분력을 확보하며, 기존 전체 외관 기반 재식별 모델에 비해 연산 효율이 뛰어나다. 실험에서는 Closed‑set에서 Top‑1 정확도 93 % 이상, Open‑set에서도 기존 SOTA 대비 7~12 % 높은 F1 점수를 기록했다. 또한 논문은 **응용‑특화 벤치마크**를 도입했다. 모델이 급식 행동을 얼마나 정확히 포착했는지(급식률 오차)와 두 개체가 동시에 등장한 비율(동시출현률 오차)을 직접 계산해, 단순 mAP나 Top‑k 정확도가 아닌 실제 생물학적 측정에 미치는 영향을 정량화한다. 이러한 지표는 연구자가 모델 선택 시 “생물학적 결과에 미치는 영향”을 직접 비교할 수 있게 해준다. 데이터와 코드(https://github.com/alexhang212/CHIRP_Dataset)는 모두 공개되어 재현성과 확장성을 보장한다. 윤리적 승인 절차와 촬영 날짜·위치·개체 리스트 등 풍부한 메타데이터를 제공함으로써, 다른 종이나 지역에 동일한 파이프라인을 적용하기 위한 청사진을 제공한다. 결론적으로, CHIRP은 장기 야생 행동 연구에 필요한 “누가”, “무엇을”, “어디서”를 동시에 해결할 수 있는 통합 데이터와, 실제 생물학적 질문에 직접 연결되는 평가 지표를 제시함으로써, 컴퓨터 비전과 행동 생태학 사이의 격차를 크게 줄였다.