가상 물고기로 물고기 떼 제어하기 강화학습 접근

1. 서론 본 논문은 물고기 떼를 외부 인공 에이전트로 제어하는 장기 목표를 가지고 있다. 전통적인 접근은 물리적 로봇이나 상세한 행동 모델을 활용했지만, 로봇의 내구성·제어 복잡성, 그리고 실제 물고기 행동 모델의 부정확성으로 실용화에 한계가 있었다. 따라서 저자들은 시각적 자극에 반응하는 물고기의 옵토모터 반응을 이용해 화면에 2D 가상 물고기를 표시하고, 이를 강화학습으로 제어함으로써 모델‑프리, 내구성‑높은 제어 체계를 제안한다. 2. 관련 연구 집단 행동 모델로는 Kuramoto, Boids, Couzin 모델 등이 소개된다. 물리적 로봇을 이용한 외부 자극, 가상 물고기를 통한 시각 동기화 실험 등도 기존에 수행되었으나, 대부분은 고정된 자극 패턴에 의존하거나 모델 기반 제어에 머물렀다. 3. 시스템 구성 실험은 가로 30.4 cm, 세로 5.0 cm, 높이 12.5 cm의 제한된 수조에서 진행된다. 화면(15.6인치 LCD)과 카메라(FLIR Flea)로 가상 물고기를 투사하고 실시간으로 물고기 위치를 추적한다. 좌표 변환식(1‑4)을 통해 카메라 이미지 좌표와 디스플레이 좌표를 동일한 뷰포트 좌표계로 매핑한다. 4. MDP 모델링 - 상태 S: (w_real, w_virtual) – 실물 물고기와 가상 물고기의 x축 셀 인덱스 쌍. 셀 수 W는 실험에 따라 조정. - 행동 A: Δw ∈ {0, ±1, …, ±Δw_max} – 가상 물고기의 목표 셀을 현재 셀에서 이동시키는 정수값. - 보상 r_n: 목표 가장자리(좌·우)와의 거리 비례, 중앙이면 -1, 가장자리이면 +1. - 전이: 가상 물고기의 움직임은 1차 지연식(11)으로 모델링, 실제 물고기의 움직임은 환경에 의해 관측된다. 5. 강화학습 알고리즘 Q‑Learning을 적용해 Q(s,a) 값을 업데이트한다. ε‑greedy 탐색으로 초기 탐색을 보장하고, 학습률 α와 할인율 γ를 적절히 설정한다. 시뮬레이션 단계에서는 실제 물고기가 가상 물고기를 무시하는 확률(p_ignore)을 도입해 정책의 강인성을 테스트한다. 결과는 p_ignore가 0.3까지 상승해도 정책이 목표 방향으로의 이동을 유지한다는 것을 보여준다. 6. 실험 결과 실제 물고기(헴리그라무스 블레리) 3마리를 사용해 10회 이상의 실험을 수행하였다. 실험 조건은 (1) 무자극, (2) “가장자리 정지” 히어스틱 전략, (3) 학습된 정책 적용이다. 측정 지표는 (a) 평균 x좌표 이동 거리, (b) 목표 가장자리 도달 시간, (c) 보상 평균값. 학습된 정책은 무자극 대비 평균 이동 거리가 1.8배, 도달 시간이 45% 감소했으며, 통계적 검증(p<0.01)에서도 유의미하게 우수하였다. 7. 논의 및 한계 - 2D 제한: y축 움직임을 무시함으로써 실제 3D 환경 적용에 제약이 있다. - 이산화된 상태·행동: 셀 크기에 따라 제어 정밀도가 제한된다. - 보상 설계: 현재는 가장자리 접근만을 강화하므로 복합 목표(예: 특정 위치 이동, 장애물 회피)에는 추가 보상이 필요하다. 8. 향후 연구 다중 가상 물고기 협동, 딥 RL(DQN, PPO) 적용, 연속 행동 공간 모델링, 온라인 적응 학습, 다양한 어종 및 환경에서의 일반화, 물고기의 스트레스 지표와 윤리적 고려를 포함한 실험 설계 등을 제안한다. 9. 결론 가상 물고기를 강화학습 기반으로 제어함으로써 물고기 떼의 집단 이동을 효과적으로 유도할 수 있음을 실험적으로 입증하였다. 모델‑프리 접근과 화면 기반 자극은 내구성·비침습성을 제공하며, 향후 복잡한 집단 행동 제어와 수산업·전시 분야에 적용 가능성을 시사한다.