스마트 홈을 위한 베이지안 센서 융합: 활동·위치 동시 예측 모델

본 논문은 고령화와 만성질환 증가로 가정 내 건강 관리가 강조되는 시대적 흐름에 발맞추어, 영국 브리스톨 대학의 SPHERE(센서 플랫폼 for HEalthcare in Residential Environment) 프로젝트에서 구축한 스마트 홈 환경을 대상으로 센서 융합 기법을 제안한다. 연구 배경으로는 다중 모달리티(환경 센서, 가속도·RSSI, RGB‑D 영상)와 이질적인 네트워크 연결성을 가진 센서 플랫폼이 제공하는 방대한 데이터에서 불확실성을 정량화하고, 투명한 의사결정을 지원해야 한다는 점을 들었다. **데이터셋 및 센서 특성** SPHERE 챌린지 데이터셋은 20명의 참가자가 스마트 홈 내에서 일상 활동을 수행하면서 수집한 동기화된 시계열 데이터를 포함한다. 주요 센서는 다음과 같다. 1. **환경 센서(PIR)** – 방마다 설치된 적외선 모션 센서로, 움직임 감지는 가능하지만 세밀한 동작 구분은 어려워 주로 위치 추정에 활용된다. false‑positive가 발생할 수 있다. 2. **가속도·RSSI** – 착용형 가속도계와 블루투스 RSSI를 통해 움직임 패턴과 무선 신호 강도를 측정한다. RSSI는 방 위치와 강한 상관관계를 보이며, 가속도는 동작 구분에 핵심이다. 다만 패킷 손실과 QoS 저하가 존재한다. 3. **RGB‑D 영상** – 거실, 계단 복도, 주방에 설치된 ASUS Xtion PRO 카메라에서 2D/3D 바운딩 박스와 중심 좌표를 제공한다. 개인 식별을 위해 원본 영상은 비공개이며, 좌표 정보만 공개된다. 영상은 위치와 활동 모두에 풍부한 정보를 제공하지만, 카메라가 없는 방에서는 활용이 제한된다. **문제 정의** 두 가지 주요 예측 과제가 있다. (1) 방 위치 예측, (2) 일상 활동(20가지) 인식. 두 과제는 상호 연관성이 높으며, 예를 들어 계단에서만 ‘ascend stairs’가 발생한다는 제약이 존재한다. 따라서 별도 모델보다 공동 모델이 더 효율적일 것으로 기대된다. **베이지안 센서 융합 모델** 저자들은 확률 그래프 모델을 기반으로 한 프레임워크를 설계한다. 변수 집합 x 는 각 센서에서 추출한 특징들을 포함하고, 인수 ψ_j는 조건부 확률 p(x_out | x_in) 을 정의한다. 주요 구성 요소는 다음과 같다. - **다중 클래스 베이즈 포인트 머신(Multi‑Class Bayes Point Machine)**: 각 클래스(활동·위치)에 대한 판별 경계를 베이지안 방식으로 학습한다. 사전 분포는 가우시안으로 설정하고, 사후 분포는 변분 추론을 통해 근사한다. - **공동 잠재 변수 z**: 활동 라벨 a 와 위치 라벨 l 을 모두 조건부로 연결하는 잠재 변수 z 를 도입해, 두 태스크를 하나의 그래프에 통합한다. 이는 양방향 메시지 전달을 가능하게 하여, 위치 정보가 활동 예측을, 반대로 활동 정보가 위치 예측을 보강한다. - **자동 변수 선택(Automatic Relevance Determination, ARD)**: 각 특징에 대한 하이퍼파라미터 α_i 를 두어, 학습 과정에서 불필요한 특징은 α_i가 커져 거의 0에 수렴하도록 한다. 이를 통해 활동별로 가장 유용한 센서와 특징을 자동으로 식별한다. - **결측 데이터 처리**: 센서 결측을 명시적 결측 변수 m 로 모델링하고, 결측 여부 자체를 베이지안 변수로 취급해, 관측되지 않은 값에 대한 사전 분포를 통해 추론한다. **학습 및 추론** 전체 데이터는 5‑분 단위 시퀀스로 나누어, 각 시퀀스에 대한 시계열 특성을 유지한다. 변분 EM 알고리즘을 사용해 사후 분포 q(z)와 파라미터 θ 를 교대로 업데이트한다. 이 과정에서 각 인수 ψ_j에 대한 기대값을 계산하고, 메시지 패싱을 통해 전역 사후를 구한다. **성능 평가** 평가 지표는 다중 라벨이 확률적으로 제공되는 상황에 적합한 Brier score이다. 실험에서는 제안 모델과 다음 베이스라인을 비교하였다. - 단일 모달리티 로지스틱 회귀(각 센서별) - 다중 커널 학습(MKL) 기반 SVM - 다중 뷰 학습(MVL) 구조(비베이지안) 결과는 제안 모델이 전체 Brier score에서 평균 0.112 → 0.098(≈12 % 개선)로 가장 낮은 값을 기록했으며, 특히 PIR 결측 구간에서 다른 센서와의 융합을 통해 위치 예측 정확도가 크게 상승했다. 활동 인식에서도 ‘stairs ascent/descent’, ‘jump’, ‘lying’ 등 동적·정적 구분이 명확히 향상되었다. 또한 ARD 결과는 각 활동별 기여 센서를 명확히 보여 주었으며, 이는 시스템 설계 시 센서 배치 최적화에 활용될 수 있다. **논문의 의의와 한계** 이 연구는 (1) 베이지안 그래프를 이용해 다중 센서의 불확실성을 정량화, (2) 활동·위치를 공동 모델링해 상호 보완 효과를 실현, (3) 자동 변수 선택을 통해 실용적인 센서 중요도 해석을 제공한다는 점에서 AAL 분야에 중요한 기여를 한다. 한편, 현재 모델은 오프라인 학습에 초점을 맞추었으며, 실시간 스트리밍 환경에서의 효율성 및 확장성에 대한 추가 연구가 필요하다. 또한, 현재는 3개의 방에만 영상 센서가 배치돼 있어 전역 영상 기반 융합이 제한적이며, 향후 센서 배치를 다양화하거나 가상 센서(예: Wi‑Fi CSI)와의 통합이 요구된다. **향후 연구 방향** - **실시간 변분 추론**: 온라인 변분 베이지안 업데이트를 통해 실시간 의사결정 지원. - **동적 구조 학습**: 활동 전이 확률을 명시적으로 모델링해 장기 의존성을 포착하는 동적 베이지안 네트워크 구축. - **프라이버시‑보호 강화**: 영상 데이터의 비식별화와 차등 프라이버시 기법을 결합한 센서 융합 프레임워크 개발. - **대규모 배포 검증**: 현재 1가구 데이터에서 100가구 규모 배포 데이터로 일반화 성능 검증. 이와 같이 본 논문은 베이지안 방법론을 활용한 다중 모달리티 센서 융합의 설계·학습·평가 전 과정을 체계적으로 제시하며, 스마트 홈 기반 AAL 시스템의 신뢰성과 투명성을 크게 향상시킬 수 있음을 입증한다.