시뮬코스트: 비용 인식 물리 시뮬레이션 벤치마크와 툴킷

본 논문은 “SimulCost”라는 새로운 벤치마크와 툴킷을 제안하여, 대형 언어 모델(LLM) 에이전트가 물리 시뮬레이션 파라미터 튜닝을 수행할 때 발생하는 계산 비용을 정량적으로 평가한다. 기존 LLM 벤치마크는 주로 정답률과 토큰 비용에 초점을 맞추었으며, 실제 과학 연구에서 시뮬레이션 실행 시간이나 실험 재료 비용과 같은 툴 사용 비용을 무시했다. 이러한 한계는 pass@k와 같은 메트릭이 현실적인 예산 제약 하에서는 의미가 없게 만든다. SimulCost는 12개의 물리 시뮬레이터(버거스 방정식, 확산‑반응, Euler, 2D FEM, 열전도, Navier‑Stokes, Hasegawa‑Mima 등)와 3개의 도메인(유체역학, 고체역학, 플라즈마 물리)로 구성된다. 각 시뮬레이터는 파라미터 튜닝 과제로 변환되며, 총 2,916개의 단일 라운드 과제와 1,900개의 다중 라운드 과제가 제공된다. 파라미터는 “공간”(격자 해상도), “시간”(시간 스텝, CFL), “허용오차”(수렴 기준), “기타”(물리‑특정 계수) 네 그룹으로 분류된다. 비용 측정은 각 시뮬레이터의 연산 복잡도 분석을 통해 FLOP 수를 계산함으로써 플랫폼 독립적으로 수행된다. EPOCH와 같이 FLOP 추정이 어려운 경우에는 고정 하드웨어에서 측정한 벽시계 시간을 비용으로 사용한다. 이렇게 정의된 비용은 시뮬레이션 정확도와 직접적인 트레이드오프 관계에 있다; 높은 해상도나 작은 타임스텝은 정확도를 높이지만 비용이 기하급수적으로 증가한다. 실험에서는 최신 LLM인 GPT‑4‑Turbo, Claude‑2, Gemini‑1.5 등과 전통적인 파라미터 탐색 방법(그리드 스캔, 베이지안 최적화)을 비교하였다. 단일 라운드에서는 LLM이 초기 파라미터를 제시해 평균 46‑64%의 성공률을 보였지만, 고정밀 요구(High)에서는 35‑54%로 급감한다. 이는 LLM이 비용‑효율적인 초기 추정에 한계가 있음을 보여준다. 다중 라운드에서는 LLM이 시도‑오류 과정을 통해 성공률을 71‑80%까지 끌어올리지만, 전체 실행 시간은 전통 스캔보다 1.5‑2.5배 더 오래 걸린다. 즉, LLM 자체의 추론 과정이 비용 면에서 비효율적이라는 결론이다. 추가 분석으로는 파라미터 그룹 간 상관관계, 인‑컨텍스트 예시 제공 효과, 추론 노력(코드 길이·코멘트) 등이 포함된다. 인‑컨텍스트 학습은 단일 라운드 성공률을 15‑25% 향상시키지만, 다중 라운드에서는 오히려 탐색을 제한해 성능이 저하된다. 파라미터 그룹 간 상관관계는 낮게 나타났으며, 특히 허용오차와 같은 solver‑specific 파라미터는 서로 독립적인 특성을 보여, 저비용 시뮬레이터에서 학습한 튜닝 전략을 고비용 시뮬레이터에 전이하기 어렵다. 결론적으로, SimulCost는 LLM 기반 과학 에이전트가 실제 연구 환경에서 비용을 고려한 의사결정을 내릴 수 있는지를 평가하는 최초의 도구이며, 현재 LLM은 초기 추정 보조 정도에 적합하고, 고정밀·고비용 작업에서는 전통적인 최적화 알고리즘과 결합하거나 하이브리드 전략을 채택해야 함을 시사한다. 또한, 파라미터 전이와 인‑컨텍스트 학습에 대한 한계는 향후 연구 과제로 남는다. 논문은 코드와 데이터셋을 공개하여 커뮤니티가 새로운 시뮬레이터를 추가하고 비용‑인식 에이전트 설계를 지속적으로 개선할 수 있도록 지원한다.