LLM을 활용한 모델링·시뮬레이션 실전 가이드: 핵심 기술부터 함정까지

초록

본 논문은 대형 언어 모델(LLM)을 모델링·시뮬레이션(M&S) 워크플로에 적용할 때 발생할 수 있는 비결정성, 프롬프트 설계, 데이터 과부하, 지식 증강 등 실무적 함정을 짚고, 검증 가능한 설계·진단·평가 방법을 제시한다.

상세 분석

이 논문은 LLM을 M&S에 도입하려는 연구자와 실무자를 위한 “실전 매뉴얼”이라 할 수 있다. 먼저 프롬프트 엔지니어링을 단순히 길게 늘리는 것이 성능 향상으로 이어지지 않으며, 오히려 ‘오버프롬프트’ 현상으로 정확도가 급락한다는 실증적 근거를 제시한다. 저자는 작업을 명확히 정의하고, 단계별 검증 프롬프트를 삽입하는 ‘프롬프트‑검증‑피드백’ 루프를 권장한다. 또한 온도(temperature) 파라미터를 0으로 설정해도 토큰 샘플링, 시스템 레벨 비결정성, 모델 내부 랜덤성 등 여러 요인으로 완전한 재현성이 보장되지 않으며, 시드 고정, 온도·탑‑P 조정, 다중 샘플 평균 등 보완 전략이 필요함을 강조한다.

지식 증강(RAG, LoRA 등) 부분에서는 외부 데이터베이스와의 연계가 “가드레일”을 우회하거나 모델 붕괴를 초래할 위험을 내포한다는 점을 경고한다. 데이터 양을 무조건 늘리는 것이 아니라, 입력 형식(인접 리스트 vs. 행렬)과 토큰 한계에 맞춰 정보를 압축·선별해야 한다. 특히 그래프 구조를 텍스트로 변환할 때, LLM이 추론해야 하는 단계가 많아질수록 정확도가 떨어지는 현상을 실험적으로 보여준다.

마지막으로 파이프라인 수준에서 버전 관리, 자동화(MLflow), 개인정보 탐지(Presidio) 등 거버넌스 도구와의 통합이 필수이며, ‘에이전트’라는 용어의 오용을 피하고 실제 자율성을 갖춘 멀티‑에이전트 시스템과 단순 순차 프롬프트 체인의 차이를 명확히 구분한다. 전반적으로 저자는 “LLM을 무조건 사용하기보다, 무엇을 이미 알고 있는지 사전 평가하고, 필요 시 최소한의 증강·파인튜닝을 적용하라”는 실용적 원칙을 제시한다.