도시 사회경제 지표 예측을 위한 다중 의미 대조 학습 MuseCL

초록

MuseCL은 거리 사진·위성 영상·POI 텍스트·인구 이동량이라는 네 가지 모달리티를 활용해 지역별 의미 표현을 학습한다. POI 유사도와 이동 흐름을 기준으로 대조 학습 샘플을 구성하고, 트리플렛 손실로 시각 특징을 정제한다. 이후 텍스트 인코더와의 교차‑모달 주의 융합 모듈을 통해 시각·텍스트 정보를 결합한다. 실험 결과, 3개 대도시의 여러 사회경제 지표 예측에서 기존 베이스라인 대비 R²가 평균 10% 상승한다.

상세 분석

MuseCL은 도시 지역을 다중 모달리티에서 추출한 의미 정보를 통합하는 새로운 프레임워크이다. 먼저 거리 뷰 이미지와 위성 영상을 각각 인구 이동량과 POI 분포와 연계해 대조 학습 샘플을 만든다. 이동량 기반 거리‑유사도 λ_PM와 POI 기반 거리‑유사도 λ_POI를 정의하고, 유사도가 높은 지역을 Positive, 낮은 지역을 Negative로 설정해 트리플렛 손실을 적용한다. 이 과정은 전통적인 거리 기반 이웃 정의(톨러의 첫 번째 법칙)의 한계를 극복하고, 실제 인간 활동·상업 구조를 반영한다는 점에서 의미가 크다.

시각 특징 추출 후, 사전 학습된 텍스트 인코더(BERT 계열)를 이용해 POI 텍스트를 임베딩한다. 핵심은 교차‑모달 주의 융합 모듈이다. 이 모듈은 시각 임베딩을 질의(query)로, 텍스트 임베딩을 키(key)·값(value)으로 두어 어텐션 스코어를 계산한다. 결과적으로 텍스트 의미가 시각 특징에 가중치 형태로 주입돼, 지역의 물리적 풍경과 사회·경제적 맥락이 동시에 반영된 통합 표현 ε_i를 얻는다.

학습된 ε_i는 선형 회귀, 랜덤 포레스트 등 다양한 다운스트림 모델에 입력돼 인구 소득, 고용률, 건강 지표 등 10여 개 사회경제 변수 예측에 활용된다. 실험에서는 베이징, 상하이, 광저우 등 세 도시에서 5가지 지표에 대해 10% 이상의 R² 향상을 기록했으며, 특히 텍스트와 시각 정보를 모두 사용했을 때 성능이 크게 개선되는 것을 확인했다.

기술적 강점은 (1) 모달리티별 의미 기반 대조 학습 설계, (2) 교차‑모달 어텐션을 통한 효율적 융합, (3) 대규모 공개 데이터와 코드 제공으로 재현 가능성 확보이다. 한계로는 POI 텍스트 품질에 크게 의존한다는 점, 이동량 데이터가 실시간으로 확보되지 않을 경우 적용이 어려울 수 있다는 점, 그리고 트리플렛 샘플링 비용이 데이터 규모가 커질수록 증가한다는 점을 들 수 있다. 향후 연구에서는 동적 시간‑시계열 이동 패턴을 포함한 시계열 대조 학습, 경량 어텐션 구조, 그리고 소규모 도시·시골 지역에 대한 일반화 검증이 필요하다.