개인 이동 예측을 위한 오픈소스 대형 언어 모델 기반 기초 모델

초록

본 논문은 경량 오픈소스 LLM에 파라미터 효율적 미세조정(PEFT)을 적용한 MoBLLM을 제안한다. MoBLLM은 GPS, 체크인, AFC 등 이질적인 데이터 소스를 통합해 개인 이동 패턴을 공유 표현으로 학습하고, 시간·공간·상황 변동에 강인한 제로샷 전이와 비용 효율성을 제공한다. 6개 실제 데이터셋에서 기존 딥러닝 모델을 능가하는 F1·정확도를 기록했으며, 정책 변화·특수 이벤트 등에서도 견고함을 입증한다.

상세 분석

MoBLLM은 “기초 모델”이라는 개념을 교통 과학에 맞게 재정의한다. 기존 개별 도시·데이터에 특화된 모델과 달리, LLM의 범용 언어 이해 능력을 활용해 이동 기록을 자연어 형태의 “명령어‑데이터” 쌍으로 변환하고, 이를 기반으로 인스트럭션 튜닝을 수행한다. 핵심 기술은 (1) 경량 오픈소스 LLM(예: Llama‑2‑7B) 선택, (2) LoRA·Adapter와 같은 PEFT 기법으로 전체 파라미터를 고정하고 소수의 추가 가중치만 학습함으로써 GPU 메모리와 학습 비용을 크게 절감한다.

데이터 전처리 단계에서는 GPS 궤적을 공간 그리드·POI 토큰화하고, 체크인·AFC 데이터는 시간·요일·정류장 정보를 구조화된 텍스트로 변환한다. 이렇게 만든 “프롬프트‑형식” 입력은 모델에게 “다음 방문 장소를 예측하라”는 명령과 함께 과거 방문 순서를 제공한다. 모델은 자체적인 체인‑오브‑생각(CoT) 메커니즘을 활용해 시간‑공간‑활동 컨텍스트를 순차적으로 추론한다.

실험에서는 6개 데이터셋(서울·베이징·런던 등)의 4가지 예측 태스크(GPS 위치, 체크인, 다음 여행 출발·도착)를 대상으로, 기존 RNN·Transformer 기반 모델과 LLM‑기반 프롬프트 방법을 비교하였다. MoBLLM은 평균 F1 0.87, 정확도 0.84로 최고 성능을 보였으며, 특히 데이터 소스가 바뀌거나 연도·시점이 달라지는 제로‑샷 전이 상황에서 성능 저하가 5% 이하에 그쳤다. 이는 LLM이 학습된 대규모 언어·세계 지식이 이동 패턴의 보편적 구조를 포착하는 데 기여했음을 시사한다.

또한 정책 개입(요금 인상·차량 제한)·특수 이벤트(축제·재난) 시나리오에서 모델을 평가했을 때, 기존 딥러닝 모델이 급격히 정확도가 떨어지는 반면 MoBLLM은 컨텍스트 정보를 텍스트로 받아들여 상황에 맞는 예측을 유지했다. 비용 측면에서는 상용 GPT‑4 대비 3배 적은 GPU 시간으로 동일 수준의 성능을 달성했으며, 오픈소스 LLM을 사용함으로써 라이선스 비용을 완전히 제거했다.

한계점으로는(1) 텍스트 변환 과정에서 정보 손실 가능성, (2) 매우 드문 이동 패턴에 대한 과소‑학습, (3) 현재는 4가지 태스크에 국한된 평가이다. 향후 연구에서는 멀티모달 입력(이미지·센서 데이터)과 지속적인 온라인 학습을 결합해 실시간 교통 관리 시스템에 적용하는 방안을 모색한다.