클러스터링 기반 다층 퍼셉트론 설계와 광학 적색편이 회귀

초록

본 논문은 비모수 클러스터링을 이용해 다층 퍼셉트론(MLP)의 은닉층 구조를 자동으로 결정하는 방법을 제안한다. 회귀 문제에 적용 가능하도록 설계했으며, 특히 광학 적색편이(Photometric Redshift) 추정에 대한 사례 연구를 통해 기존 무작위 혹은 경험적 설계 방식보다 높은 예측 정확도와 안정성을 입증한다. 다양한 데이터셋 실험 결과, 제안 기법이 모델 복잡도와 일반화 성능 사이의 균형을 효과적으로 맞춘다는 점을 확인하였다.

상세 분석

이 연구는 인공신경망(ANN) 설계 시 가장 큰 난관 중 하나인 은닉층 수와 뉴런 수 결정 문제를 비모수 클러스터링 기법으로 해결하고자 한다. 기존에는 사용자가 경험에 의존하거나 무작위 탐색을 통해 최적 구조를 찾는 경우가 많았으며, 이는 계산 비용이 높고 재현성이 떨어지는 단점이 있었다. 저자들은 먼저 입력 데이터의 특성을 파악하기 위해 밀도 기반 클러스터링(DBSCAN) 혹은 평균 이동(Mean‑Shift)과 같은 비모수 방법을 적용한다. 이 과정에서 데이터가 자연스럽게 몇 개의 클러스터로 구분되는지를 확인하고, 각 클러스터의 중심을 새로운 특성으로 활용한다. 이후 각 클러스터의 크기와 분포 정보를 기반으로 은닉층의 뉴런 수를 결정한다. 구체적으로, 클러스터 수를 은닉층 뉴런 수의 초기값으로 삼고, 각 클러스터 내 데이터 포인트 수에 비례해 뉴런 가중치를 조정한다. 이렇게 하면 데이터 복잡도가 높은 영역에서는 더 많은 뉴런이 할당되고, 상대적으로 단순한 영역에서는 적은 뉴런이 배치되어 모델의 파라미터 효율성이 극대화된다.

제안된 구조는 회귀 문제에 직접 적용될 수 있도록 출력층을 선형 활성화 함수로 설정하고, 손실 함수는 평균 제곱 오차(MSE)를 사용한다. 학습 단계에서는 기존의 역전파와 Adam 옵티마이저를 그대로 적용하되, 초기 가중치 설정에 클러스터 중심을 활용함으로써 수렴 속도를 높인다. 실험에서는 광학 적색편이 추정이라는 천문학적 회귀 문제를 주요 사례로 삼았다. 광대역 필터(ugriz 등)에서 얻은 광도 데이터를 입력으로 사용하고, 실제 스펙트럼 적색편이를 목표값으로 설정하였다. 여러 공개 데이터셋(SDSS, DES 등)을 대상으로 기존의 고정 구조 MLP, 랜덤 서치 기반 하이퍼파라미터 최적화, 그리고 Gradient Boosting과 비교했을 때, 제안 모델은 평균 절대 오차와 RMSE 측면에서 5~12% 정도의 개선을 보였다. 또한, 클러스터링 단계에서 도출된 은닉층 크기는 데이터셋마다 다르게 나타났으며, 이는 모델이 데이터의 내재적 복잡성을 자동으로 반영한다는 점을 의미한다.

이와 같은 접근법은 다음과 같은 장점을 가진다. 첫째, 데이터 자체가 설계 기준이 되므로 사용자가 사전에 복잡한 하이퍼파라미터 탐색을 수행할 필요가 없다. 둘째, 비모수 클러스터링은 사전 가정이 거의 없으며, 데이터의 비선형 구조를 자연스럽게 포착한다. 셋째, 모델 규모가 데이터 복잡도에 비례하기 때문에 과적합 위험이 감소한다. 그러나 몇 가지 한계도 존재한다. 클러스터링 알고리즘의 선택과 파라미터(예: ε, 최소 샘플 수)에 따라 은닉층 크기가 크게 달라질 수 있어, 이 단계 자체가 또 다른 하이퍼파라미터 튜닝을 요구한다. 또한, 고차원 데이터에서 클러스터링 비용이 급증할 가능성이 있다. 향후 연구에서는 차원 축소와 결합한 효율적인 클러스터링, 그리고 다른 유형의 신경망(컨볼루션, 트랜스포머)에도 적용 가능한 일반화 프레임워크를 모색할 필요가 있다.