웹 기반 천문 이미지 처리 파이프라인 Youpi

초록

Youpi는 Python/Django 기반 서버와 Ajax‑Prototype‑script.aculo.us 클라이언트를 이용해, FITS 이미지의 데이터 정리, 클러스터 작업 관리, 실시간 모니터링 및 협업 공유 기능을 제공하는 포터블 웹 애플리케이션이다. Terapix 오픈소스 도구와 연동해 고성능 이미지 감소 파이프라인을 손쉽게 구축한다.

상세 분석

Youpi는 현대 천문학 데이터 처리의 핵심 요구인 대용량 FITS 파일의 조직화와 병렬 연산을 웹 인터페이스 하나로 통합한다. 서버 측은 Python 2.x/3.x 기반 Django 프레임워크 위에 구현되어, ORM을 이용한 메타데이터베이스 관리와 REST‑like API 제공이 핵심이다. 이를 통해 사용자별 프로젝트, 관측 세션, 이미지 세트 등을 계층적 구조로 저장하고, 파일 경로와 처리 파라미터를 DB에 기록한다. 클러스터 연동은 SSH‑based job submission 스크립트를 자동 생성하고, PBS, SLURM 등 다양한 스케줄러와 호환되도록 설계되었다. 작업 상태는 Celery 혹은 Django‑Channels와 연동된 비동기 메시징으로 실시간 업데이트되며, Ajax 콜백을 통해 클라이언트 UI에 즉시 반영된다.

클라이언트 측은 Prototype와 script.aculo.us 라이브러리를 활용해 드래그‑앤‑드롭, 동적 트리 뷰, 슬라이더 기반 파라미터 조정 등 풍부한 사용자 경험을 제공한다. Ajax 요청은 JSON 포맷으로 직렬화되어 서버와 교환되며, 오류 처리와 재시도 로직이 내장돼 네트워크 불안정 상황에서도 작업이 손실되지 않는다.

Youpi는 Terapix에서 제공하는 SWarp, SCAMP, SExtractor 등 오픈소스 도구를 래핑하여, 웹 UI에서 직접 파라미터를 지정하고 파이프라인을 구성한다. 파라미터 템플릿은 YAML 형식으로 저장돼 재사용이 가능하고, 버전 관리 시스템(Git)과 연동해 변경 이력을 추적한다.

협업 기능은 프로젝트별 권한 모델을 통해 구현된다. 관리자, 연구원, 외부 협력자 등 역할에 따라 데이터 읽기/쓰기, 작업 제출, 결과 공유 권한을 세분화한다. 결과 파일은 웹 기반 뷰어(예: Aladin Lite)와 연동돼 브라우저에서 바로 시각화할 수 있다.

확장성 측면에서 Youpi는 Docker 이미지와 Ansible 플레이북을 제공해 온‑프레미스 혹은 클라우드 환경에 손쉽게 배포한다. 수평 확장을 위해 Django의 WSGI 서버를 다중 인스턴스로 운영하고, Redis 기반 캐시와 세션 스토어를 활용한다. 보안은 HTTPS, OAuth2 인증, CSRF 방지 토큰 등을 적용해 데이터 무결성과 접근 제어를 보장한다.

전체적으로 Youpi는 천문 이미지 감소 파이프라인을 웹 기반으로 추상화함으로써, 비전문가도 복잡한 클러스터 작업을 손쉽게 수행하고, 팀원 간 결과를 실시간으로 공유할 수 있게 한다. 다만, Prototype와 script.aculo.us는 최신 프레임워크에 비해 유지보수가 어려워 향후 React·Vue 기반 UI로 전환이 필요하고, 대규모 데이터셋에 대한 스트리밍 전송 최적화가 추가로 요구된다.