구조 인식 멀티모달 LLM 기반 근거리 빔 예측 프레임워크

본 논문은 6G 시대 핵심 기술로 떠오른 근거리 XL‑MIMO 시스템에서 발생하는 빔 관리 문제를 해결하기 위해, 대규모 언어 모델(LLM)을 기반으로 한 구조‑인식 멀티모달 프레임워크를 제안한다. 1) **시스템 및 채널 모델** - BS는 M_y × M_z의 UPA와 함께 RGB 카메라, LiDAR 센서를 탑재하고, UAV는 GPS와 단일 안테나를 보유한다. - 근거리 전파는 구형 파면을 따르며, 각 안테나마다 거리 d_{l,m}(t) 를 정확히 계산한다. Sionna 레이 트레이싱을 이용해 실시간 채널 응답 h(t)를 생성한다. 2) **문제 정의** - 전통적인 빔 코드북은 방위(θ), 고도(φ), 거리(r) 3차원으로 샘플링되어 N_θ·N_φ·N_r 개의 후보를 만든다. 전면 탐색은 파일럿 오버헤드와 지연을 급증시킨다. - 목표는 과거 L 시간 윈도우의 멀티모달 데이터 E_t 를 입력으로, 미래 L_p 시간에 대한 최적 인덱스 (i, j, q) 를 직접 예측하는 것이다. 3) **멀티모달 인코더와 프롬프트 설계** - GPS 시퀀스 → 위치 임베딩, RGB 이미지 → ViT 기반 비전 인코더, LiDAR 포인트 클라우드 → PointNet++ 인코더를 사용해 각각의 특징을 추출한다. - 텍스트 프롬프트는 “UAV는 현재 (x, y, z) 위치에 있으며, 앞선 5초 동안 (θ, φ, r) 빔을 사용했다”와 같은 형태로, LLM에게 시계열·공간·빔 정보를 자연어 형태로 제공한다. 4) **구조‑인식 빔 예측 헤드** - LLM의 최종 토큰 시퀀스를 세 개의 독립적인 분류기로 전달한다. 각각은 방위, 고도, 거리 인덱스를 예측하며, Softmax 출력에 따라 confidence score 를 산출한다. - 이렇게 인덱스를 분해하면 학습 복잡도가 O(N_θ+N_φ+N_r) 로 감소하고, 물리적 3D 구조와 일치해 해석 가능성이 높아진다. 5) **보조 궤적 예측 헤드** - 별도의 LSTM 기반 모듈이 미래 UAV 궤적을 예측하고, 이를 빔 후보군 제한에 활용한다. 즉, 예측된 위치와 거리 인덱스 q̂ 를 결합해 후보 집합을 좁힌다. 6) **신뢰도‑인식 적응형 재정밀화** - 각 축별 confidence score 가 사전 정의된 임계값 이하이면, 제한된 후보 (예: 상위 5개) 에 대해 소규모 파일럿 스캔을 수행한다. - 이 과정은 파일럿 수를 크게 줄이면서도 빔 정렬 정확도를 보장한다. 7) **실험 및 평가** - 시뮬레이션 환경: 도시 저고도(0–200 m) 시나리오, 64 × 64 UPA, 30 GHz 대역, SNR = 0~20 dB. - 비교 대상: (a) 전통적 계층형 빔 트레이닝, (b) LSTM 기반 무선 전용 예측, (c) 최신 멀티모달 LLM 기반 모델(MLM‑BP, M2BeamLLM). - 주요 지표: 평균 빔 정렬 정확도, 데이터 전송률, 파일럿 오버헤드, 신뢰도 기반 재정밀화 횟수. - 결과: 제안 모델은 평균 정확도가 92% (기존 최고 78%)이며, 전송률이 1.8배 향상되고, 파일럿 수는 45% 감소한다. 특히 NLoS 상황에서 거리 인덱스 예측 정확도가 크게 개선되어 전체 시스템 신뢰도가 높아졌다. 8) **소결 및 향후 과제** - 멀티모달 LLM이 복잡한 공간‑시간 관계를 효과적으로 학습함을 입증했으며, 구조‑인식 설계가 근거리 빔 관리의 차원 저주를 완화한다는 점을 강조한다. - 향후 연구는 실시간 경량화 모델, 실험실 및 현장 테스트, 그리고 보안·프라이버시를 고려한 데이터 전처리 방안 등을 제시한다.