LLM 기반 3D 모델링 툴로 라디오 복사장 재구성 간소화

초록

본 논문은 로컬 LLM과 생성형 3D 모델링 엔진을 결합해 채팅 인터페이스만으로 무선 채널 모델링에 필요한 3D 환경을 손쉽게 구축하고, 이를 RF‑3DGS 파이프라인에 바로 연동할 수 있는 시스템을 제안한다. T5‑mini 파싱 모델, all‑MiniLM‑L6‑v2 기반 객체 검색, LLaMA‑Mesh와 Shap‑E 생성 모델, 그리고 맞춤형 Blender 플러그인을 활용해 NIST 로비와 UW‑Madison 무선 실험실을 재현했으며, 기존 수작업 방식에 비해 모델링 복잡도를 크게 낮추었다.

상세 분석

이 연구는 무선 통신 분야에서 최근 각광받고 있는 라디오 복사장(Radio Radiance Field, RRF) 재구성의 전제 조건인 정확한 3D 환경 모델링을, 기존의 레이저 스캔·컴퓨터 비전 기반 측정에 의존하던 방식을 탈피하고 자연어 기반 인터페이스로 대체한다는 점에서 혁신적이다. 핵심 기술은 크게 세 부분으로 나뉜다. 첫째, 사용자 명령을 구조화된 JSON 액션 시퀀스로 변환하기 위해 강력한 프롬프트 설계와 함께 T5‑mini를 대규모 LLM이 생성한 합성 데이터로 미세조정한다. 이 과정에서 구문 오류를 방지하기 위해 규칙 기반 검증과 의미 검증을 수행하는 다단계 파이프라인을 구축했으며, 결과적으로 99% 이상의 JSON 유효성 및 의미 일치율을 달성한다. 둘째, 3D 객체 생성·선택 단계에서는 두 종류의 로컬 생성 모델을 병행한다. Shap‑E는 디퓨전 기반으로 고품질 메쉬를 제공하지만 속도가 느리고, LLaMA‑Mesh는 텍스트 토큰을 메쉬로 직접 변환해 실시간 인터랙션에 적합하다. 사용자는 품질·속도 요구에 따라 모델을 선택할 수 있다. 또한, all‑MiniLM‑L6‑v2를 대조 학습(triplet loss)으로 미세조정해 객체 설명 문장을 임베딩하고 FAISS 인덱스로 빠른 유사도 검색을 구현함으로써, “넓은 바닥을 가진 꽃병”과 같은 자연어 쿼리만으로도 정확한 3D 자산을 찾아낼 수 있다. 셋째, Blender와의 연동을 위해 두 개의 맞춤 플러그인을 개발한다. 실행 플러그인은 HTTP 기반 JSON 명령을 받아 장면 상태를 조회하고 순차적으로 액션을 적용하며, 로컬 ID와 절대 좌표 변환을 자동 처리한다. export 플러그인은 Blender 4.3 이후에도 동작하도록 PLY 파일과 Sionna 호환 XML 메타데이터를 생성해 RF‑3DGS 파이프라인에 바로 투입할 수 있게 만든다. 실험에서는 NIST 로비와 UW‑Madison 무선 실험실을 재현했으며, 시각적 품질과 RRF 재구성 결과가 기존 수작업 모델과 통계적으로 유의미하게 차이가 없음을 확인했다. 특히, 물리적 포인트 클라우드가 없는 UW‑Madison 실험실의 경우, 전적으로 본 시스템만으로 3D 환경을 구축하고 RRF를 생성함으로써 현장 측정 비용을 크게 절감했다. 전체 시스템은 로컬 GPU(예: RTX 3080) 기준 5~10 초 내에 명령당 액션을 처리하고, Shap‑E 기반 고품질 메쉬는 30 초 이내에 생성한다. 이는 실시간 설계·시뮬레이션 워크플로우에 충분히 적용 가능함을 의미한다. 마지막으로, 프라이버시·레이트 제한을 고려해 모든 모델을 로컬에 배포함으로써 클라우드 의존성을 없애고, 연구실 내 네트워크 환경에서도 안정적으로 운영할 수 있다. 이러한 설계는 차후 멀티모달 LLM과의 통합, 자동화된 환경 업데이트, 그리고 대규모 협업 라이브러리 구축으로 확장될 여지를 제공한다.