천문학을 위한 초고속·안정 신경망 학습기 SkyNet

본 논문은 현대 천문학이 직면한 대규모·다차원 데이터 분석 문제를 해결하기 위한 범용 신경망 학습 도구인 SkyNet을 소개한다. 서론에서는 머신러닝, 특히 인공신경망(ANN)이 천문학에서 20년 넘게 활용돼 왔지만, 깊고 큰 네트워크를 효율적으로 학습시키는 것이 어려워 활용이 제한돼 왔음을 지적한다. 이를 극복하기 위해 SkyNet은 사전학습(pre‑training)과 정규화 뉴턴 최적화라는 두 단계 학습 전략을 채택한다. 2절에서는 피드포워드 신경망의 기본 구조와 수학적 표현을 설명한다. 입력‑은닉‑출력 3계층을 기본으로 하며, 은닉층에 sigmoid, 출력층에 선형 활성화를 사용한다. 활성화 함수는 부드럽고 단조함을 요구하며, 필요 시 ReLU, soft‑sign 등 다른 함수도 적용 가능하다. 또한, 자동인코더(autoencoder)의 구조와 차원 축소 원리를 설명하고, 중앙 레이어가 입력보다 적은 뉴런을 가짐으로써 비선형 특징 벡터를 추출한다는 점을 강조한다. 3절은 SkyNet의 학습 알고리즘을 상세히 기술한다. 첫 단계인 사전학습은 각 층을 제한볼츠만머신(RBM)으로 무감독 학습시켜 가중치를 ‘좋은 초기값’에 가깝게 만든다. 이는 심층 네트워크가 지역 최소값에 빠지는 문제를 완화한다. 두 번째 단계에서는 손실 함수의 2차 미분 정보를 활용하는 정규화 뉴턴 방법을 적용한다. 전체 헤시안을 계산하거나 저장하지 않고, Hessian‑vector product를 빠르게 근사하는 Schraudolph (2002)와 Martens (2010) 방식을 사용해 메모리 요구량을 O(N)으로 유지한다. 정규화 파라미터는 학습 진행 중 자동으로 조정되며, 검증 데이터 기반의 조기 종료와 L2 정규화를 통해 과적합을 방지한다. 또한, 수렴 기준으로는 손실 변화율, 파라미터 변화량, 검증 오차 등을 동시에 고려한다. SkyNet은 ANSI C 로 구현됐으며, MPI를 이용해 다중 코어·다중 노드 환경에서 거의 선형 확장을 보인다. 현재 GPU 가속 버전은 개발 중이며, 향후 공개될 예정이다. 4절에서는 SkyNet을 이용한 여러 toy 문제를 제시한다. (4.1) 회귀 예제로 1‑차원 함수 근사에서 기존 back‑prop 대비 5배 빠른 수렴과 0.001 수준의 평균 제곱 오차를 달성했다. (4.2) 분류 예제로 MNIST 손글씨 데이터에 3‑계층(784‑300‑10) 네트워크를 적용해 2% 미만의 오류율을 기록했으며, 학습 시간은 기존 구현 대비 30% 감소했다. (4.3) 자동인코더를 이용한 차원 축소에서는 784‑256‑64‑256‑784 구조가 64차원으로 압축한 뒤에도 원본 이미지와 시각적으로 구분이 어려운 복원을 보여주었다. (4.4) 클러스터링 예제로 자동인코더의 중앙 레이어 출력값을 K‑means에 입력해 데이터 군집을 시각화했다. 5절은 천문학적 실제 적용 사례를 다룬다. 첫 번째는 흐릿하고 잡음이 섞인 은하 이미지와 별 이미지에서 은하의 타원율(e)와 방향을 회귀 예측하는 작업이다. 3‑계층(1024‑200‑2) 네트워크를 사용해 평균 오차를 0.01 이하로 낮췄으며, 전통적인 PSF 보정 방법보다 3배 빠른 처리 속도를 보였다. 두 번째는 Swift 위성의 감마선 폭발(GRB) 탐지 파이프라인 시뮬레이션에서, 입력 파라미터(광도, 지속시간, 스펙트럼 지수 등)를 이용해 탐지 여부를 이진 분류하는 작업이다. 4‑계층(20‑50‑20‑1) 네트워크가 95% 이상의 탐지율과 2% 이하의 위양성률을 달성했으며, 실시간 탐지 시스템에 적용 가능함을 시연했다. 세 번째는 자동인코더를 이용한 은하 이미지 압축·노이즈 제거이다. 64×64 픽셀 이미지를 10차원 특징 벡터로 압축한 뒤, 디코더를 통해 원본과 거의 동일한 품질의 복원 이미지를 얻었다. 이는 대규모 은하 이미지 데이터베이스의 저장·전송 비용을 크게 절감할 수 있음을 보여준다. 또한, SkyNet은 MultiNest와 결합돼 BAMBI(Bayesian Accelerated Multi‑modal Bayesian Inference) 패키지의 핵심 구성 요소로 활용된다. MultiNest가 새로운 파라미터 샘플을 생성하면 이를 SkyNet이 학습시켜 likelihood 함수를 근사하고, 이후 샘플링 단계에서 실제 likelihood 대신 신경망 예측값을 사용해 연산 속도를 10⁶ 배까지 가속한다. 6절에서는 결론과 향후 과제를 제시한다. SkyNet은 대규모·심층 신경망을 효율적으로 학습시킬 수 있는 강력한 도구이며, 천문학뿐 아니라 다른 과학 분야에도 적용 가능하다. 현재 한계는 CNN·RNN 지원 부재와 GPU 가속 미비이며, 향후 이러한 기능을 추가하고, 자동 하이퍼파라미터 튜닝 및 베이즈적 불확도 추정 방법을 강화할 계획이다.