LLM 기반 도시 규모 이동 예측, Llama‑Mob이 15일 장기 예측을 선도

초록

본 논문은 Llama‑3‑8B 모델을 인스트럭션 튜닝하여 인간 이동성을 15일 간 장기적으로 예측하는 Llama‑Mob을 제안한다. 일본 4개 대도시의 대규모 체크인 데이터를 활용해 개별 궤적을 Q&A 형식으로 변환하고, LoRA 기반 파라미터 효율 튜닝으로 학습한다. 실험 결과, 단일 도시 데이터만으로도 다른 도시에 대한 제로샷 일반화가 가능하며, DTW와 GEO‑BLEU 지표에서 기존 최첨단 모델(LP‑Bert)을 크게 앞선다. 다만 추론 비용이 크게 증가하는 점이 한계로 제시된다.

상세 분석

본 연구는 인간 이동 예측이라는 전통적인 시계열·그래프 기반 문제에 대형 언어 모델(LLM)의 내재된 세계 지식과 추론 능력을 적용한다는 점에서 혁신적이다. 먼저 저자들은 이동 궤적을 <day_id, time_slot_id, x, y> 형태의 4‑tuple 시퀀스로 정의하고, 이를 “역할, 환경, 정의, 예시, 과제 설명, 출력 형식”을 포함한 인스트럭션 블록과 실제 관측 기록을 포함한 질문 블록으로 구성한다. 모델은 이 입력을 받아 JSON 형태의 예측값만을 반환하도록 설계돼, 기존의 토큰‑레벨 시계열 예측과 달리 자연어 이해와 논리적 추론을 동시에 수행한다.

튜닝 단계에서는 전체 Llama‑3‑8B(8 B 파라미터)를 그대로 학습하는 대신 LoRA(저차원 어댑터)를 적용해 키·쿼리·밸류·출력 프로젝션에만 16 차원의 저랭크 매트릭스를 삽입, 파라미터 효율성을 크게 높였다. 손실 함수는 토큰 수준 교차 엔트로피를 그대로 사용해, 복잡한 공간‑시간 관계를 자연어 토큰 시퀀스로 변환한 뒤 기존 NLP 학습 파이프라인에 매핑한다.

데이터는 Human Mobility Challenge 2024에서 제공한 75일 간 4개 일본 도시(A‑D)의 체크인 로그이며, 각 도시는 200 × 200 격자(500 m × 500 m)와 30분 간격 시간 슬롯으로 정규화된다. 학습·평가를 위해 도시별로 사용자 ID 기준 8:2 비율로 분할하고, 추론 비용을 고려해 검증 집합을 100명으로 축소하였다.

베이스라인으로는 2023년 챌린지 우승 모델인 LP‑Bert을 사용했으며, 이는 BERT 기반 토큰 임베딩에 도시 임베딩을 추가해 다중 도시 상황에 맞췄다. 평가 지표는 형태 유사성을 측정하는 DTW와 공간‑n‑gram 매칭을 고려한 GEO‑BLEU를 채택했다.

실험 결과, 단일 도시(특히 B)만으로 튜닝한 Llama‑Mob도 모든 도시에서 LP‑Bert을 능가했으며, 평균 순위는 2.5점(전체 1 ~ 4위)로 나타났다. A와 B를 결합해 튜닝하면 GEO‑BLEU에서 0.3541(최고)까지 상승했으며, DTW에서도 경쟁력 있는 성능을 보였다. 이는 LLM이 인간 이동 패턴에 대한 일반적 지식을 이미 내재하고 있어, 제한된 도메인 데이터만으로도 강력한 전이 학습이 가능함을 시사한다.

하지만 효율성 측면에서 큰 격차가 존재한다. Llama‑Mob의 전체 학습 시간은 6.64일(2.4배), 추론 시간은 평균 225 초(16 000배)로, 실시간·대규모 서비스 적용에 제약이 있다. 저자들은 4‑bit 양자화와 LoRA 적용으로 메모리 사용량을 70 % 절감했지만, 자동 회귀 구조 자체가 선형 시간 복잡도를 갖기에 근본적인 가속화가 필요하다.

추가로, 저자들은 동일 프레임워크를 POI 예측 작업에도 적용했으며, 챌린지 2024에서 16 % 학습 데이터만 사용해 평균 1위(순위 평균 1.0)를 기록했다는 점을 강조한다. 이는 인스트럭션 튜닝이 특정 도메인에 국한되지 않고, 다양한 시계열·공간 예측 문제에 범용적으로 활용될 수 있음을 보여준다. 향후 연구에서는 효율적인 디코딩 전략, 멀티‑모달 입력(지도·교통 정보) 결합, 그리고 더 큰 규모의 도시·국가 데이터에 대한 확장성을 검증할 필요가 있다.