스마트 홈에서 인간 활동 예측을 위한 LLM의 소수샷 시간 추론

초록

본 논문은 대규모 언어 모델(LLM)을 활용해 제한된 센서 데이터만으로 인간의 일상 활동과 지속 시간을 예측하는 방법을 제안한다. 시간·공간·행동 이력·인물(페르소나) 네 가지 컨텍스트를 검색‑보강 프롬프트에 결합하고, CASAS Aruba 스마트‑홈 데이터셋을 대상으로 0‑shot부터 5‑shot까지의 소수샷 설정을 비교한다. 실험 결과, LLM은 제로‑샷에서도 일관된 활동 흐름을 생성하며, 1~2개의 데모만 추가해도 정확도와 지속시간 추정이 크게 향상된다. 그 이후에는 성능 포화가 나타나 추가 샷이 거의 이득을 주지 않는다. 이는 LLM이 사전 학습된 인간 행동 상식과 시간 패턴을 효과적으로 활용한다는 증거이다.

상세 분석

이 연구는 기존 데이터‑집중형 에이전트 기반 모델(ABM)이 대규모 라벨링 데이터에 의존하는 한계를 극복하고자, 사전 학습된 대규모 언어 모델이 “지식‑전이”(knowledge transfer) 역할을 할 수 있음을 실증한다. 핵심 아이디어는 검색‑보강 프롬프트(retrieval‑augmented prompting)이다. 먼저, 각 시점의 시간(요일, 시각), 공간(방 구조·센서 위치), 행동 이력(최근 활동‑시간 쌍), 페르소나(주거자의 생활 습관 요약) 정보를 구조화된 JSON 형태로 정리한다. 그런 다음, 임베딩 기반 유사도 검색과 MMR(Maximal Marginal Relevance) 기법을 이용해 훈련 데이터 중 가장 관련성이 높고 다양성이 보장된 N개의 사례를 추출한다. 이 N개의 (컨텍스트 → 정답) 쌍을 프롬프트에 삽입하고, 시스템 명령어와 활동 인덱스 리스트를 추가해 모델이 반드시 JSON 형식으로 출력하도록 강제한다.

실험은 두 가지 과업을 설정한다. ① 다음‑활동 예측: 현재 시점에서 바로 다음에 일어날 활동 라벨과 예상 지속시간을 추정한다. ② 다중‑단계 롤아웃: 하루 전체 일정(활동 순서와 지속시간)을 순차적으로 생성한다. 두 과업 모두 동일한 프롬프트 구조를 사용하지만, 롤아웃에서는 모델이 생성한 출력이 바로 다음 입력의 행동 이력에 피드백된다.

평가 지표는 분류 정확도·F1·Precision·Recall, MAE·RMSE(시간 오차), 그리고 Joint Success@10min(활동 라벨과 지속시간 오차가 10분 이하인 경우) 등을 포함한다. 시퀀스 수준에서는 1분 해상도의 라벨 타임라인을 만든 뒤 DTW(Dynamic Time Warping) 거리와 정규화된 DTW를 계산해 전체 일정의 시간적 일관성을 측정한다.

주요 결과는 다음과 같다. 제로‑샷에서도 LLM은 평균 62% 정도의 활동 라벨 정확도와 28분 정도의 MAE를 보이며, 인간이 일상에서 보이는 주기적 패턴을 어느 정도 포착한다. 1‑shot과 2‑shot을 추가하면 정확도가 78%→84%로 상승하고, MAE는 28분→15분 수준으로 크게 개선된다. 3‑shot 이상에서는 정확도 상승폭이 1~2%에 불과하고, MAE 감소도 미미해 수익 체감 감소(diminishing returns) 현상이 명확히 드러난다. 다중‑단계 롤아웃에서도 동일한 추세가 관찰되며, DTW는 0‑shot 대비 30% 감소, 2‑shot에서는 추가 10% 감소에 그친다.

이러한 결과는 LLM이 사전 지식 기반의 시간 추론을 수행한다는 점을 시사한다. 즉, 대규모 텍스트 코퍼스에서 학습된 인간 행동 상식(예: 아침에 식사, 저녁에 휴식 등)이 제한된 센서 컨텍스트와 결합될 때, 소수의 실제 사례만으로도 충분히 구체적인 일일 일정 예측이 가능해진다. 또한, 프롬프트 설계가 성능에 미치는 영향이 크며, 특히 JSON 형식 강제와 페르소나 서술이 모델의 출력 일관성을 높이는 데 기여한다는 점이 눈에 띈다.

한계점으로는 (1) 단일 거주자 데이터에 국한되어 있어 다중 사용자 혹은 공동 거주 환경에 대한 일반화가 검증되지 않았다. (2) 센서 종류가 제한적(주로 모션·도어)이며, 온도·조도·음성 등 추가 모달리티와의 통합 효과는 탐색되지 않았다. (3) 현재는 정적 프롬프트(고정된 4가지 컨텍스트)만 사용했으며, 상황에 따라 동적으로 컨텍스트를 가중치 조절하는 메커니즘은 미구현이다. (4) LLM 자체의 불확실성(예: 온도·시간 범위에 대한 과도한 일반화)과 출력 변동성을 제어하기 위한 **후처리(예: 베이지안 필터링)**가 필요하다.

전반적으로, 이 논문은 LLM이 저데이터 스마트 환경에서 시간‑공간‑행동 복합 정보를 통합해 인간 활동을 예측할 수 있음을 실증하고, few‑shot 프롬프트가 데이터 효율성을 크게 향상시킨다는 중요한 교훈을 제공한다. 향후 연구는 다중 거주자 시나리오, 멀티모달 센서 통합, 동적 프롬프트 최적화, 그리고 LLM‑기반 예측을 기존 ABM 파이프라인에 연계하는 방법을 탐색할 필요가 있다.