AI가 주택 에너지 레트로핏을 설계한다: 대형 언어 모델 평가

초록

본 연구는 7개의 최신 대형 언어 모델(LLM)이 미국 49개 주의 400가구 주택에 대해 에너지 레트로핏 옵션을 제안하는 능력을 평가한다. 기술 목표(CO₂ 감축)와 사회기술 목표(회수 기간 최소화) 두 관점에서 정확도, 일관성, 민감도, 추론 품질을 측정했으며, 최고 모델은 Top‑1 정확도 54.5%, Top‑5 92.8%를 기록했다. LLM은 위치와 건물 형태에 민감하지만 기술 선택·거주자 행동에는 둔감했으며, 추론은 단계적이지만 깊이와 맥락 이해가 부족했다. 전반적으로 LLM은 레트로핏 의사결정 보조에 잠재력이 크지만, 정확도·일관성·맥락 처리 능력 향상이 필요하다.

상세 분석

이 논문은 기존 물리‑기반 시뮬레이션과 데이터‑드리븐 접근법이 갖는 입력 부담, 확장성 한계, 기후·행동 민감도 부족, 해석 가능성 저하 문제를 지적한다. 스마트·연결 커뮤니티(S&C C) 환경에서 디지털 트윈·멀티‑에이전트·IoT가 제공하는 고해상도 실시간 데이터와 LLM의 자연어 처리 능력을 결합하면, 복잡한 건물·기후·거주자 정보를 통합해 직관적인 레트로핏 권고를 생성할 수 있다는 가설을 검증한다.

연구는 ResStock 2024.2 데이터베이스에서 400가구를 추출해 389개 변수와 16가지 레트로핏 패키지를 정의하고, NREM 데이터로 비용을 보강하였다. 각 LLM에 동일한 프롬프트(레트로핏 패키지 개요 + 역할 지정 + 주택 상세 정보)를 제공하고, 두 목표(CO₂ 최소화, 회수 기간 최소화)에 대해 최적 패키지를 선택하도록 요청했다.

평가 지표는 다음과 같다.

1. 정확도: 기준 시뮬레이션 결과와 일치하는 순위(Top‑1, Top‑5) 비율. 최고 모델은 Top‑1 54.5%, Top‑5 92.8%를 달성했으며, 기술 목표에서 일관적으로 높은 정확도를 보였다.
2. 일관성: 서로 다른 LLM 간 추천 일치도. 전체적으로 낮은 상관관계(κ ≈ 0.12)이며, 성능이 좋은 모델일수록 다른 모델과 의견 차이가 크게 나타났다.
3. 민감도: 위치·건물 형태·면적 등 입력 변화를 주었을 때 추천 변동 정도. 지리적 위치와 건물 기하학에 높은 민감도를 보였지만, 히트펌프 효율·가전 전기화 등 기술 변수와 거주자 행동 변화에는 상대적으로 둔감했다. 이는 LLM이 대규모 통계 패턴에 기반해 학습되었고, 세부 기술 파라미터에 대한 내부 표현이 약함을 시사한다.
4. 추론 품질: 모델이 제공한 단계별 논리(예: “먼저 단열을 개선하고, 다음으로 고효율 히트펌프를 선택한다”)를 평가. 대부분의 모델이 엔지니어링 스타일의 순차적 설명을 제공했지만, 실제 물리적 상호작용(예: 냉난방 부하 변화)이나 지역 기후 미세 차이를 반영하지 못해 표면적인 이유 제시에 머물렀다.

모델별 특징을 보면, OpenAI ChatGPT o1·o3은 일관된 문맥 유지와 다단계 추론에서 강점을 보였으며, DeepSeek R1은 비용·수치 계산에서 정확했지만 설명이 간결했다. Gemini 2.0은 멀티모달 입력(이미지) 가능성을 강조했지만 현재 텍스트‑전용 평가에서는 차별화가 제한적이었다. Grok 3은 실시간 데이터 연동을 주장했으나, 실제 프롬프트에서는 그 이점을 활용하지 못했다. Llama 3.2는 경량 구조로 빠른 응답을 제공했지만, 복잡한 최적화 논리에서는 오류가 빈번했다. Claude 3.7는 하이브리드 추론(빠른·깊은)으로 중간 수준의 정확도와 설명을 제공했다.

전체적으로 LLM은 “프롬프트‑엔지니어링”에 크게 의존한다는 점이 강조된다. 동일한 프롬프트라도 모델마다 해석 차이가 발생해 결과 변동성이 크다. 또한, 사전 파인튜닝 없이도 400건 수준의 복합 입력을 처리해 유의미한 추천을 도출했지만, 산업 현장에서 요구되는 신뢰성(예: 95% 이상의 Top‑1 정확도)에는 아직 미치지 못한다.

결론적으로, LLM은 레트로핏 의사결정 보조 도구로서 “초기 아이디어 제시·설명 제공” 단계에 적합하지만, 최종 설계·시공 단계에서는 물리‑기반 시뮬레이션이나 전문가 검증과 결합해야 한다. 향후 연구는 도메인‑특화 파인튜닝, 구조화된 출력 포맷(예: JSON 형식), 그리고 실시간 센서·기후 데이터와의 연동을 통해 민감도와 추론 깊이를 강화하는 방향이 필요하다.