재난 구조물 현장 조사 자동 요약을 위한 대형 언어 모델 활용

초록

본 논문은 재난 발생 후 현장 조사에서 수집된 이미지와 메타데이터를 통합하고, 사전 학습된 CNN으로 구조물 손상 속성을 추출한 뒤, 정교하게 설계된 프롬프트를 이용해 GPT‑4와 같은 대형 언어 모델(LLM)에게 구조물별·지역별 요약 보고서를 자동 생성하도록 하는 LLM‑DRS 프레임워크를 제안한다. 실험은 2020년 푸에르토리코 지진 사례를 통해 수행했으며, 기존의 이산형 손상 라벨링 방식에 비해 보고서 작성 시간과 인적 비용을 크게 절감하면서도 전문가 수준의 기술적 서술을 제공함을 확인하였다.

상세 분석

본 연구는 재난 구조물 현장 조사에 AI를 적용하는 기존 접근법의 한계를 정확히 짚어낸다. 기존 CV‑DL 기반 SHM(Structural Health Monitoring) 시스템은 손상 종류와 위치를 라벨 혹은 좌표 형태로 출력하지만, 엔지니어가 이를 재구성하고 의사결정에 활용하기 위해서는 별도의 데이터 정제와 해석 과정이 필수적이다. 이러한 워크플로우는 현장 상황이 급변하고 데이터 양이 방대해지는 재난 상황에서 비효율성을 초래한다. 논문은 이를 해결하기 위해 세 가지 핵심 기술을 결합한다. 첫째, ‘표준 현장 조사 계획’이라는 프로세스 표준화를 도입해 사진·영상과 메타데이터(위치, 진도, 건물 유형 등)를 구조화된 JSON 형태로 수집한다. 둘째, PEER Hub ImageNet(𝜙‑Net) 기반의 사전 학습된 CNN(Structural ImageNet Model, SIM)을 활용해 이미지당 손상 상태, 재료 유형, 파손 정도 등 7가지 속성을 자동 추출하고, 이를 텍스트화한다. 셋째, 추출된 텍스트와 메타데이터를 하나의 프롬프트로 결합해 GPT‑4와 같은 LLM에 입력함으로써 “구조물 전문가” 역할을 수행하도록 프롬프트 엔지니어링을 적용한다. 프롬프트는 시스템 메시지(역할 정의, 기술 용어 설명, 형식·톤 규칙)와 사용자 메시지(보고서 목표)로 구성되어, LLM이 일관된 기술 보고서를 생성하도록 유도한다.

기술적 기여는 크게 세 부분으로 정리된다. 1) CNN 기반 속성 추출 파이프라인을 메타데이터와 결합해 다중모달 데이터셋을 자동 생성함으로써, 기존의 이산형 출력에서 벗어나 구조화된 텍스트 정보를 제공한다. 2) 프롬프트 엔지니어링을 체계화하여 LLM이 재난 현장 상황에 맞는 전문 용어와 보고서 형식을 학습하도록 설계했으며, 이는 ‘프롬프트 기반 학습(prompt‑based learning)’의 실제 적용 사례로서 의미가 크다. 3) 전체 프레임워크를 실제 재난 사례(2020년 푸에르토리코 지진)에 적용해, 개별 건물 보고서와 지역 종합 보고서를 자동 생성하고, 사진·지도 삽입까지 구현함으로써 실용성을 검증했다.

실험 결과는 두 가지 관점에서 의미 있다. 정량적으로는 기존 수작업 보고서 작성에 비해 평균 70% 이상의 시간 절감 효과를 보였으며, 손상 등급과 재료 식별 정확도는 92% 이상으로 사전 학습된 CNN의 성능을 그대로 유지했다. 정성적으로는 전문가 평가에서 “전문가 수준의 서술”, “일관된 형식”, “필요 정보 누락 없음” 등의 긍정적 피드백을 받았다. 또한, LLM이 생성한 보고서는 GIS 기반 지도와 사진을 자동 삽입함으로써 시각적 이해도를 높였으며, 이는 재난 대응 단계에서 의사결정자에게 즉각적인 상황 파악을 가능하게 한다.

한계점으로는 (1) 현재는 GPT‑4와 같은 클라우드 기반 LLM에 의존하고 있어 데이터 보안 및 오프라인 운영이 어려울 수 있다. (2) 프롬프트 설계가 도메인 전문가와 AI 엔지니어 간의 협업을 필요로 하며, 프롬프트가 미세하게 변하면 출력 품질이 크게 달라질 수 있다. (3) CNN 기반 속성 추출은 훈련 데이터의 다양성에 따라 편향될 위험이 있어, 다양한 재난 유형·건축 재료에 대한 추가 학습이 요구된다. 향후 연구에서는 경량화된 로컬 LLM 배포, 자동 프롬프트 최적화 메커니즘, 그리고 멀티스펙트럼·라이다(LiDAR) 등 추가 센서 데이터를 통합한 멀티모달 확장을 제안한다.

요약하면, LLM‑DRS는 현장 조사 데이터의 자동 수집·정형화·속성 추출·보고서 생성까지 전 과정을 하나의 파이프라인으로 연결함으로써, 재난 현장에서의 신속하고 정확한 구조물 평가를 가능하게 하는 혁신적 프레임워크라 할 수 있다.