휴대형 사후 분석 파이프라인을 위한 과학 게이트웨이 구현

초록

본 논문은 자연재해 사후 분석을 위해 포토그래메트리, 인공지능, 데이터 시각화를 통합한 포터블 파이프라인을 과학 게이트웨이(Science Gateway) 환경에 구현한다. Apache Airflow 기반 DAG와 CWL, Docker 컨테이너를 활용해 작업을 자동화·재현 가능하게 만들고, 이탈리아 INAF PLEIADI HPC·GPU 클러스터에서 고해상도 3D 디지털 트윈을 생성·분석한다. 결과는 웹 애플리케이션(CesiumJS)으로 제공되어 현장 조사 없이도 손상 평가가 가능하도록 설계되었다.

상세 분석

이 연구는 자연재해 사후 분석에 필요한 복합 워크플로우를 하나의 과학 게이트웨이 플랫폼에 통합함으로써 재현성·이식성을 크게 향상시켰다. 핵심 기술은 Apache Airflow를 이용한 DAG 기반 작업 스케줄링이다. Airflow는 파이썬 스크립트로 DAG를 정의하고, 메타데이터 데이터베이스, 스케줄러, 웹 UI, 실행자·워커 등으로 구성된 모듈식 아키텍처를 제공한다. 이를 통해 포토그래메트리와 머신러닝 단계 각각을 독립적인 서브 DAG로 분리하고, 의존 관계를 명시적으로 관리한다. 작업 단위는 Docker 컨테이너와 Bash·Python 연산자를 사용해 격리되며, CWL(Common Workflow Language) 파일로 선언적 정의가 가능해 다른 환경으로의 이동이 용이하다.

포토그래메트리 단계는 Agisoft Metashape 2.2.0의 파이썬 API를 호출한다. 이미지 전처리(블러·노출 필터링) 후 고중첩 UAV 사진을 이용해 Structure‑from‑Motion(SfM) 과정을 수행하고, 깊이 지도와 포인트 클라우드를 생성한다. GPU 가속이 가능한 V100 노드에서 실행되며, 대용량 이미지(수천 장) 처리 시 병렬화가 효과적이다. 머신러닝 단계는 세그멘테이션 모델을 Docker 이미지로 배포하고, Airflow의 PythonOperator로 추론 파이프라인을 실행한다. 모델 입력은 메타데이터와 정규화된 이미지이며, 출력은 손상 영역 마스크와 속성 테이블이다.

데이터 저장은 BEEGFS 병렬 파일시스템을 사용해 고속 I/O를 보장하고, 결과물(3D 모델, 손상 레이어)은 PostgreSQL과 Redis에 메타데이터를 기록한다. 사용자 인증·권한 관리는 Keycloak을 통해 OIDC 표준을 적용했으며, 프론트엔드는 React 기반 UI가 FastAPI 백엔드와 RESTful 통신한다. 최종 결과는 CesiumJS를 활용한 웹 3D 뷰어에 시각화되어, 손상 위치와 규모를 직관적으로 확인할 수 있다.

이러한 설계는 (1) 작업 재현성을 위한 컨테이너화, (2) 워크플로우 이식성을 위한 CWL·Docker, (3) 대규모 연산을 지원하는 HPC·GPU 인프라, (4) 사용자 친화적인 웹 인터페이스 제공이라는 네 가지 축을 동시에 만족한다. 특히, 기존 포토그래메트리와 AI 모델이 각각 독립된 스탠드얼론 툴로 존재하던 점을 과학 게이트웨이 내에서 자동화·연계함으로써 재난 발생 직후 빠른 분석 파이프라인 구축이 가능해졌다.