젖소 자세 추정을 위한 제브라포즈 교차종 전이학습 연구

초록

본 연구는 합성 얼룩말 이미지로 사전학습된 비전 트랜스포머 모델 ZebraPose를 활용해, 실제 농장 환경의 젖소 27개 키포인트 자세 추정에 적용하였다. 375장의 현장 데이터와 APT‑36K 벤치마크를 조합한 세 가지 학습 구성으로 모델을 평가했으며, 결합 모델이 인‑도메인에서 AP 0.86, AR 0.87, PCK0.5 0.869의 성능을 보였지만, 보지 못한 농장과 개체에선 일반화가 크게 저하되는 것을 확인했다. 합성‑실제 도메인 격차와 환경·형태 다양성 부족이 주요 장애 요인임을 제시한다.

상세 요약

ZebraPose는 합성 얼룩말 이미지 10만 장을 이용해 사전학습된 비전 트랜스포머(ViT) 기반 포즈 추정 모델이다. 이 연구는 “형태적 유사성 → 전이 가능성”이라는 가설을 검증하기 위해, ZebraPose를 27개의 키포인트를 갖는 젖소 자세 추정 작업에 그대로 적용하거나, 현장 데이터(375 이미지)와 APT‑36K(얼룩말·소·양 등 36 k 이미지) 중 일부를 추가 fine‑tuning하는 세 가지 시나리오를 설계했다.

1️⃣ 데이터 다양성: 현장 데이터는 뉴브런즈윅 주의 한 농장에서 수집됐으며, 조명, 배경, 복장(목걸이·우유통) 등이 고르게 분포되지 않았다. 반면 APT‑36K는 다양한 촬영 각도와 배경을 포함하지만, 주로 실험실·연구 시설에서 촬영된 합성·실제 혼합 이미지다. 두 데이터셋을 결합하면 도메인 간 격차를 완화할 수 있다는 기대가 있었다.

2️⃣ 모델 구조와 전이 전략: ViT‑B/16 기반의 ZebraPose는 이미지 패치를 토큰화해 전역 컨텍스트를 학습한다. 저자들은 전체 파라미터를 미세조정(fine‑tune)했으며, 학습률 스케줄링과 레이어별 가중치 감쇠를 적용해 과적합을 방지했다. 특히, 키포인트 헤드만 재학습하는 “헤드‑프리‑튜닝”과 전체 네트워크를 동시에 업데이트하는 “전망‑전이” 두 방식을 비교했지만, 결과 차이는 미미했다.

3️⃣ 성능 평가: 인‑도메인(훈련·검증에 사용된 동일 농장)에서는 AP 0.86, AR 0.87, PCK0.5 0.869를 기록해 기존 소‑전용 모델과 동등하거나 약간 우수한 수준을 보였다. 그러나 외부 농장(다른 지역·다른 품종)에서는 AP가 0.42 이하로 급락했으며, 특히 꼬리·귀·뒷다리 키포인트에서 큰 오차가 발생했다. 이는 합성 이미지가 재질(피부·털)·조명·배경 변이를 충분히 포괄하지 못했기 때문이다.

4️⃣ 제한점 및 실용성:

• 도메인 격차: 합성 얼룩말과 실제 젖소는 체형·색채·동작 패턴에서 차이가 크다. ViT가 전역 관계를 잘 포착하더라도, 로컬 텍스처와 색상 차이가 큰 경우 특징 매핑이 불안정해진다.
• 데이터 규모: 375장의 현장 이미지만으로는 다양한 자세·환경을 커버하기에 부족하다. 특히, 낮은 조도·흙먼지·다중 개체 상황이 모델을 혼란스럽게 만든다.
• 연산 요구: ViT‑B/16은 GPU 메모리 12 GB 이상을 필요로 하며, 실시간 모니터링(30 FPS)에는 최적화가 필요하다. 농가 현장에서는 저전력 엣지 디바이스가 주류이므로, 모델 경량화가 필수다.

5️⃣ 시사점: 형태적 유사성만으로는 교차종 전이가 충분히 이루어지지 않으며, “농업‑우선 AI 설계”가 필요하다. 즉, 합성 데이터 생성 시 실제 농장 조명·배경·동물 행동을 정밀히 모델링하고, 다중 농장·다품종 데이터를 포함한 공개 벤치마크를 구축해야 한다. 또한, 도메인 적응 기술(예: 스타일 트랜스퍼, 도메인 어드버설 학습)과 경량 ViT 변형을 결합하면 실용적 배포 가능성이 높아진다.