물리 기반 스펙트럼 강화학습을 이용한 적응형 환경 센싱

본 논문은 고차원 저표본(HDLSS) 데이터가 환경 모니터링 모델링에 초래하는 통계적 불안정성을 극복하기 위해, 물리‑인포메드 특성 압축과 강화학습을 결합한 새로운 프레임워크 PiCSRL(Physics‑Informed Contextual Spectral Reinforcement Learning)을 제안한다. 먼저, 원시 하이퍼스펙트럼 이미지(286 밴드)를 도메인 지식에 기반한 10개의 생물광학 지표(예: CIρ681‑ρ665, NDCI, MCI 등)로 변환하는 함수 ϕ를 정의한다. 이 변환은 차원을 d→d′(d′≪d)로 축소하면서, 각 지표가 물리적 메커니즘을 직접 반영하도록 설계돼, 차원 축소에 따른 정보 손실을 최소화한다. 다음으로, 라벨이 있는 98개의 현장 측정(2024년)과 라벨이 없는 60,215개의 픽셀을 활용한 반지도 학습 파이프라인을 구축한다. 라벨이 있는 데이터에 리지 회귀 교사 모델을 학습시키고, 이를 통해 라벨이 없는 데이터에 물리적으로 타당한 의사 라벨을 생성한다. 교사 모델은 정규화 파라미터 α=1.0을 5‑fold CV로 최적화했으며, 예측값은 실제 측정 범위로 클리핑해 물리적 일관성을 유지한다. 학생 모델은 두 개의 은닉층(64, 32 뉴런)과 배치 정규화, ReLU, 드롭아웃(p=0.3)을 갖는 MLP이며, 라벨이 있는 샘플에 10배 가중치를 부여한 손실 함수를 사용해 학습한다. 이 과정에서 테스트 R²는 0.52(물리‑인포메드) vs. 0.41(원시 밴드)로, 물리 기반 특성이 일반화에 크게 기여함을 확인한다. 불확실성을 고려한 belief 모델은 부트스트랩 앙상블(크기 M)으로 구현된다. 각 앙상블 멤버는 얕은 신경망으로, 입력은 ϕ로 변환된 특성 z이며, 평균 µ와 분산 σ를 통해 예측값과 epistemic uncertainty를 제공한다. 이 예측값과 불확실성은 강화학습(state)의 핵심 요소가 된다. 상태는 후보 위치 N개의 µ, σ 벡터와 방문 여부를 나타내는 이진 마스크로 구성되며, 차원은 N에만 의존해 원시 스펙트럼 차원과 무관하다. 강화학습은 Deep Q‑Network(DQN) 기반이며, 보상 함수는 세 부분의 가중합으로 정의된다: 정보 보상(예측 오차 절감), 불확실성 보상(에피스테믹 불확실성 감소), 공간 보상(선택 위치 간 거리 최대화). 파라미터 α, β, γ는 민감도 분석을 통해 최적화되었으며, 이는 단순 UCB(µ+βσ)와 차별화된 다목적 최적화를 가능하게 한다. 에피소드는 belief 모델이 제공하는 시뮬레이션 데이터를 사용해 생성되므로, 실제 현장 측정이 추가로 필요하지 않다. 실험은 세 단계로 진행된다. (1) 특성 압축 효과 검증: 물리‑인포메드 지표만 사용했을 때 훈련 R²=0.54, 테스트 R²=0.52이며, 원시 밴드(훈련 0.47, 테스트 0.41)보다 월등히 우수했다. (2) 적응형 센싱 성능 평가: 8개의 후보 스테이션 중 3개를 선택하는 상황에서, PiCSRL은 RMSE 0.1527±0.006과 블룸 검출률 98.4%를 달성, 이는 exhaustive search(최적)와 거의 동일한 수준이며, Greedy‑Spatial(0.2098), Greedy‑Risk(0.1982), Random(0.2958)보다 크게 앞선다. 또한, UCB 기반 불확실성 선택은 RMSE 0.178±0.011을 기록해 PiCSRL보다 낮은 성능을 보였다. (3) 확장성 테스트: 50개의 가상 스테이션(조합 2백만 이상)에서 PiCSRL은 검출률 88.5%와 누적 보상 6.97을 기록, Greedy‑Risk(84.3%)와 UCB(81.3%)보다 통계적으로 유의하게(p=0.002) 우수했다. 논의에서는 물리‑인포메드 특성이 HDLSS 상황에서 차원 축소와 정규화 역할을 수행해 과적합을 방지함을 강조한다. 부트스트랩 앙상블은 Gaussian Process와 달리 O(M·N) 복잡도로 확장 가능하며, 고차원 커널 붕괴 문제를 회피한다. 제한점으로는 물리‑인포메드 특성을 설계하기 위해 도메인 전문가가 필요하고, 현재는 수생 환경(시아노박테리아) 중심이라는 점을 들었다. 향후 연구는 다목표(예: 영양염, 온도) 최적화, 다른 환경 분야 적용, 자동 물리‑인포메드 특성 학습(예: 물리‑인포메드 딥러닝) 등을 제시한다. 결론적으로 PiCSRL은 HDLSS 데이터에서 물리 기반 특성 압축과 불확실성‑인식 강화학습을 결합해, 샘플 효율성을 크게 향상시키고 대규모 적응형 센싱에 실용적인 솔루션을 제공한다. 이는 지구관측 데이터와 제한된 현장 라벨을 활용한 환경 모니터링에 새로운 패러다임을 제시한다.