딥러닝 다변량 불확실성 모델링과 칼만 필터 통합

본 논문은 딥러닝 기반 회귀 모델이 제공하는 다변량(다중 출력) 불확실성을 정량화하고, 이를 칼만 필터와 같은 베이지안 상태 추정 시스템에 효과적으로 통합하는 방법을 제시한다. 전통적인 상태 추정 시스템에서는 측정 불확실성을 고정된 공분산 행렬로 가정하는 경우가 많으며, 이는 “블랙 박스” 딥러닝 모델이 상황에 따라 크게 변동하는 불확실성을 제대로 반영하지 못한다는 한계를 가진다. 저자들은 이러한 문제를 해결하기 위해 두 가지 학습 전략을 개발하였다. 첫 번째 전략은 직접적인 다변량 가우시안 최대우도(MLE) 손실을 이용하는 방법이다. 여기서는 신경망이 평균 f(x)와 공분산 Σ(x)를 동시에 출력하도록 설계한다. 공분산 행렬은 대각 원소(분산)와 비대각 원소(공분산)로 구성되며, 각각 exp와 tanh 활성화를 통해 양의 정부호와 -1~1 사이의 상관계수를 보장한다. 손실 함수 L = ½ (y − f(x))ᵀ Σ(x)⁻¹ (y − f(x)) + ½ log|Σ(x)|는 다변량 정규분포의 음의 로그우도로, 각 샘플마다 이질적인(heteroscedastic) 불확실성을 학습할 수 있게 한다. 이 방식은 라벨 y가 직접 제공되는 경우에 적용하기 용이하며, 공분산을 별도로 학습하거나 사전 훈련된 모델에 붙여넣는 형태로도 활용 가능하다. 두 번째 전략은 칼만 필터와의 엔드‑투‑엔드 학습이다. 여기서는 딥러닝 모델이 예측한 측정값 f(xₜ)와 그 공분산 Σ(xₜ)를 칼만 필터에 입력하고, 필터가 출력하는 상태 추정 ẑₜ와 공분산 Pₜ에 대한 손실 Lₜ = ‖ẑₜ − zₜ‖_{Pₜ⁻¹}²를 역전파한다. 공분산 Σ(xₜ)는 혁신(innovation) 공분산 Sₜ = Σ(xₜ) + H FPₜ₋₁Fᵀ + Q에 직접 기여하고, 칼만 이득 Kₜ = FPₜ₋₁Hᵀ Sₜ⁻¹을 통해 상태 추정에 간접적으로 영향을 미친다. 따라서 필터 전체의 성능을 최적화하는 방향으로 Σ를 학습할 수 있다. 이 방법은 상태 라벨 zₜ가 완전하지 않거나 일부 서브셋만 제공되는 경우에도 적용 가능하도록 설계되었으며, 자동 미분을 활용해 복잡한 그래디언트를 효율적으로 계산한다. 또한, 필터 가정이 위배되더라도 최종 시스템 성능을 직접 최적화할 수 있다는 장점이 있다. 알레아토릭(데이터 내재) 불확실성과 에피스테믹(모델) 불확실성을 동시에 고려하기 위해, 저자들은 에피스테믹 불확실성을 MC‑Dropout이나 베이지안 앙상블 등 샘플링 기반 방법으로 추정한다. 각 샘플에 대해 N개의 예측 fⁿ(x)와 공분산 Σⁿ(x)를 얻은 뒤, 총 예측 공분산을 Σ_pred = Σ_aleatoric + Σ_epistemic 형태로 합산한다. 훈련 단계에서는 에피스테믹 불확실성이 알레아토릭에 비해 작을 경우, 알레아토릭 공분산만을 학습하고 테스트 단계에서 에피스테믹을 보정하는 전략이 가장 안정적이었다. 실험은 두 가지 실제 시나리오에서 수행되었다. 첫 번째는 합성 3D 시각 추적 데이터로, 인‑도메인(훈련과 동일한 분포)과 아웃‑도메인(노이즈 레벨이 다른 분포) 상황을 모두 평가했다. 다변량 공분산을 정확히 예측한 모델은 고정 공분산 기반 칼만 필터에 비해 평균 제곱근 오차(RMSE)가 약 30 % 감소했으며, 특히 아웃‑도메인에서 불확실성 추정이 크게 향상되어 필터가 급격한 오류를 방지했다. 두 번째 실험은 실제 시각 오도메트리 데이터로, 여기서는 측정값 간 강한 상관관계와 복잡한 동역학이 존재한다. 직접 학습(MLE)만으로는 상관관계를 완전히 포착하지 못했지만, 칼만 필터와의 엔드‑투‑엔드 학습을 통해 모델이 프로세스 노이즈와 관측 노이즈 사이의 불일치를 보정할 수 있었으며, 전체 트래젝터리 추정 오차가 크게 감소하였다. 결론적으로, 논문은 (1) 다변량 알레아토릭 불확실성을 정밀히 모델링하는 직접 손실 기반 방법, (2) 시스템 전체 성능을 목표로 하는 칼만 필터 기반 엔드‑투‑엔드 학습, (3) 에피스테믹 불확실성을 샘플링 기반으로 보완하는 통합 프레임워크를 제시한다. 이러한 접근은 자율주행 차량, 로봇 내비게이션, 드론 등 실시간 센서 융합이 필수적인 분야에서 딥러닝 모듈을 안전하고 신뢰성 있게 통합하는 데 핵심적인 역할을 할 것으로 기대된다.