A convolutional neural network deep learning method for model class selection

📝 Abstract

**
본 연구에서는 입력 정보 없이 단일 자유도 응답만을 이용해 시스템의 모델 클래스를 판별하는 새로운 1차원 컨볼루션 신경망(1D‑CNN) 방법을 제안한다. 훈련 단계에서는 응답 신호와 해당 클래스 라벨을 이용해 네트워크를 학습시키고, 검증 단계에서는 미지의 신호에 대해 모델 클래스를 직접 분류한다. 또한, 가속도·변위 데이터를 물리적 제약식으로 결합한 칼만 필터(KF)를 활용해 신호를 전처리·보강함으로써 분류 정확도를 향상시키는 옵션도 검토한다. 제안 기법은 선형·비선형 동적 시스템 및 3차원 건물 유한요소 모델에 적용되어, 감쇠·히스테리시스와 같은 미세한 신호 변동에도 높은 모델 클래스 선택 정확도를 보이며, 구조 건강 모니터링(SHM) 분야에 유용한 비파라메트릭 도구임을 입증한다.

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• 모델 클래스 선택은 시스템 식별·모니터링에서 핵심이지만, 기존 방법은 대부분 입력‑출력 데이터와 파라메터 추정을 전제한다.
• 대규모 구조물·불완전 관측 시스템에서는 입력 정보를 얻기 어렵고, 비선형·복합 시스템은 폐쇄형 수식 모델링이 어려워 현재 방법들의 적용에 한계가 있다.
• 따라서 응답 전용이며 실시간으로 모델 클래스를 판별할 수 있는 비파라메트릭 접근법이 절실히 요구된다.

2. 제안 방법의 핵심 아이디어

3. 기술적 구현

• 네트워크 구조: 입력 → 다중 1D Convolution + BatchNorm + ReLU → Max‑Pooling → Fully‑Connected → Softmax.
• 필터 설계: 다양한 스케일을 포착하기 위해 여러 크기의 커널(예: 3,5,7) 사용.
• 학습 전략: Stochastic Gradient Descent (SGD) 혹은 Adam, 교차 엔트로피 손실, Early‑Stopping 적용.
• 칼만 필터 연동: 가속도·변위 측정 → 상태 추정(위치·속도·가속도) → 추정값을 CNN 입력 채널에 병합. 물리 모델은 운동학 제약식(a = d̈)만 사용해 실제 시스템 모델을 가정하지 않는다.

4. 실험 및 결과

• 신호 변동에 대한 강인성: 감쇠·히스테리시스에 의한 미세한 파형 변화에도 높은 구분 능력.
• 실시간 가능성: 1D CNN 구조와 경량화된 필터 설계 덕분에 GPU 없이도 실시간(수 ms 수준) 추론 가능.
• 칼만 필터 보강은 특히 노이즈가 큰 상황에서 정확도를 3~6% 향상시켰다.

5. 강점

1. 입력‑불필요: 시스템 입력을 모르는 경우에도 적용 가능.
2. 비파라메트릭: 파라메터 추정·모델 식별 단계가 없어 계산 비용 절감.
3. 다중 시스템 적용: 선형·비선형·고차원 FEM까지 범용성 입증.
4. 물리‑데이터 융합: 칼만 필터와의 결합으로 잡음 저감 및 신뢰도 향상.
5. 경량 구현: 1D CNN은 하드웨어 요구사항이 낮아 현장 SHM 장비에 적합.

6. 한계 및 개선점

7. 학문·산업적 파급 효과

• 구조 건강 모니터링(SHM): 입력이 불가능한 대형 구조물에서 빠른 손상·변형 유형 식별에 활용 가능.
• 재난 대응: 지진·풍하중 후 실시간으로 구조 모델을 파악해 복구 전략을 신속히 수립.
• 산업 자동화: 기계·로봇 시스템에서 센서 수가 제한된 경우에도 고장 유형을 즉시 분류.
• 학술적 기여: “응답 전용” 딥러닝 기반 모델 클래스 선택이라는 새로운 패러다임을 제시, 기존 베이지안·MCMC 기반 방법과 차별화.

8. 향후 연구 제안

1. 멀티‑채널·멀티‑DOF 확장 – 여러 자유도·센서 데이터를 동시에 입력해 복합 모드 구분 능력 강화.
2. 전이 학습(Transfer Learning) – 한 시스템에서 학습한 가중치를 다른 구조물에 빠르게 적용하는 방법 연구.
3. 온라인 학습 – 실시간 데이터 스트림에 대해 지속적으로 모델을 업데이트하는 continual learning 프레임워크 구축.
4. 불확실성 정량화 – 베이지안 딥러닝(예: MC‑Dropout)으로 예측 확률에 대한 신뢰 구간 제공.
5. 하드웨어 최적화 – FPGA/Edge‑AI 보드에 1D CNN·KF 파이프라인을 이식해 현장 실시간 모니터링 시스템 구현.

**

📄 Full Content

모델 클래스 선택은 실제 시스템을 근사하는 분석적·수치적 시스템 모델이 불가피하게 근사치에 불과하다는 점에서 시스템 식별 및 모니터링 과정의 필수적인 부분이다. 특히 공학 시스템에서는 물리법칙만으로는 그 특성을 완전히 규정하기 어려운 경험적 특성 때문에 모델 클래스 선택이 매우 유용하다.

모델 클래스 선택의 중요성은 “조정 가능한 불확실 파라미터가 적은 단순 모델보다 파라미터가 많은 복잡한 모델이 데이터에 더 잘 맞는다”는 사실에서 강조된다. 그러나 복잡한 모델은 데이터에 과적합(over‑fitting)되기 쉬워 향후 예측 성능이 저하될 위험이 있다. 이는 파라미터 추정이 데이터의 세부 사항과 측정 잡음에 과도하게 의존하기 때문이다.

이러한 문제를 해결하기 위해 오랜 기간에 걸쳐 다양한 접근법이 제시되어 왔다. Akaike¹는 모델 파라미터화에 대한 벌점을 부과하는 가능도 함수를 도입했으며, Grigoriu et al.²는 복잡한 모델에 대해 단순 모델보다 더 큰 벌점을 부과하도록 제안하였다. Beck와 Yuen³은 베이즈 정리와 각 모델 클래스 증거(evidence)의 점근적 전개(asymptotic expansion)를 이용해 조건부 확률에 기반한 모델 클래스 순위를 매겼다. Katafygiotis와 Beck⁴는 구조 모델 업데이트에서 모든 출력 동등(optimal) 모델을 찾는 궤적 네트워크를 이용해 모델 식별성을 조사하는 알고리즘을 제시하였다.

특히 Ching과 Chen⁵은 시뮬레이션 기반 접근법을 통해 베이지안 모델 업데이트, 모델 클래스 선택, 모델 평균화(simultaneous Bayesian model updating, model class selection, and model averaging)를 동시에 수행하였다. 이후 Muto와 Beck⁶는 지진 하중을 받는 비선형 구조에 전이 마코프 체인 몬테카를로(Transitional Markov Chain Monte Carlo, TMCMC) 방법을 적용하였다. Cheung과 Beck⁷은 마코프 체인 몬테카를로(MCMC) 샘플을 이용해 모델 증거를 계산하는 일반적인 방법을 제시했고, Beck⁸은 라플라스(Laplace) 근사와 MCMC를 활용한 구조 건강 모니터링 벤치마크 문제를 연구하였다.

Raftery et al.⁹은 온라인 모델 클래스 선택을 위한 동적 모델 평균화(dynamic model averaging) 방법을 개발했으며, Chatzi et al.¹⁰은 파라미터 예측의 매끄러움(smoothness)과 추정 정확도(accuracy)를 동시에 고려한 2중 기준을 실험적으로 검증하였다. Yuen과 Mu¹¹은 실시간으로 모델 클래스 선택과 파라미터 식별을 동시에 제공하는 확장 칼만 필터(Extended Kalman Filter, EKF) 알고리즘을 고안했다. Kontoroupi와 Smyth¹²는 베이지안 모델 선택과 무향 칼만 필터(Unscented Kalman Filter, UKF)를 결합해 상태·파라미터 추정을 하나의 프레임워크로 통합했으며, 이후 Kullback‑Leibler 발산을 벌점 형태로 도입한 베이지안‑UKF 결합 방식¹³을 추가로 연구하고 있다[14‑25].

하지만 기존의 모델 클래스 선택 방법들은 대부분 클래스 선택 외에도 각 모델에 대한 시스템 식별을 동시에 수행한다. 이는 관측이 제한된 대규모 시스템, 입력이 알려지지 않은 시스템, 혹은 비선형 경험적 시스템 등 부분적으로 관측 불가능한(partially unobservable) 시스템에 대해 큰 부담이 된다.

본 논문에서는 이러한 어려움을 딥러닝 기반의 일반화된 응답‑전용(real‑time) 절차를 통해 해결하고자 한다. 즉, 파라미터를 식별하거나 모든 동적 상태를 측정·추정하거나 시스템 입력을 알 필요 없이, 자동으로 시스템 모델 클래스를 선택한다. 이를 위해 **합성곱 신경망(convolutional neural network, CNN)**을 활용한다. CNN은 시각 이미지 데이터의 클래스 선택에 탁월한 성능을 보인 바 있으며(26), 여기서는 1차원 형태의 CNN을 진동 신호에 적용한다. 1차원 CNN은 손상 탐지(27‑44) 등 다차원에서 입증된 바와 같이, 단일 자유도(DOF) 응답만으로도 모델 클래스를 구분할 수 있는 잠재력을 가지고 있다.

주요 기여

• 비파라메트릭 비진동 기반 도구: 응답 신호만을 이용해 모델 클래스를 직접 분류한다.
• 칼만 필터와의 융합: Smyth와 Wu가 제안한 동적 상태 추정(45‑55)을 물리‑강화(kine­matics constraint) 형태로 네트워크 학습에 활용한다. 이를 통해 CNN의 성능을 한층 향상시킨다.
• 단일 자유도 응답만으로도 높은 정확도: 적절한 학습을 통해 복잡한 파라미터 추정 없이도 모델 클래스 선택 정확도가 크게 향상된다.

논문의 구성

1. Section 2 – 베이지안 모델 클래스 선택 이론 및 한계 소개.
2. Section 3 – 표준 1D CNN 구조와 다차원 CNN과의 비교, 특히 모델 클래스 선택에 초점을 맞춤.
3. Section 4 – 응답‑전용, 입력 미지, 모델 클래스 미지 시스템에 대한 칼만 필터 융합 수식 전개.
4. Section 5 – 요약 및 알고리즘 표 제공.
5. Sections 6‑8 – 선형·비선형 동적 시스템 및 3차원 건물 유한요소 모델에 대한 수치 사례.
6. Section 9 – 토론, 향후 연구 방향, 학습 과정에 대한 민감도 분석.
7. Section 10 – 결론.

베이지안 프레임워크에서 모델 클래스 𝕄ᵢ 선택

베이지안 관점에서 모델 클래스 𝕄ᵢ 를 선택하려면 사전 확률(prior) 과 사후 확률(posterior) 을 모두 고려한다. 모델 공간을 𝕄 = {𝕄ᵢ : i = 1,…,iₘₐₓ} 로 두면, 베이즈 정리에 따라

[ P(\mathbb{M}_i \mid \mathbf{y},\mathbb{M}) = \frac{P(\mathbb{M}i \mid \mathbb{M}),p(\mathbf{y}\mid\mathbb{M}i)}{\sum{j=1}^{i{\max}} P(\mathbb{M}_j \mid \mathbb{M}),p(\mathbf{y}\mid\mathbb{M}_j)} ]

여기서 (P(\mathbb{M}_i \mid \mathbb{M})) 은 𝕄ᵢ 의 사전 확률, (\mathbf{y}) 는 측정 벡터, (p(\mathbf{y}\mid\mathbb{M}_i)) 는 증거(evidence) 라고 한다. 분모는 모든 모델 클래스에 대한 사전 확률과 가능도의 합으로 대체된다.

이를 계산하기 위해 마코프 체인 몬테카를로(MCMC) 와 같은 확률적 시뮬레이션 방법이 사용된다. 특히 파라미터 (\thet$a_j$) 에 대해

[ \ln p(\mathbf{y}\mid\mathbb{M}_i) = \ln p(\mathbf{y}\mid\thet$a_j$,\mathbb{M}_i) - \ln p(\thet$a_j$\mid\mathbb{M}_i) + \ln p(\thet$a_j$\mid\mathbf{y},\mathbb{M}_i) ]

와 같이 로그 변환을 적용해 수치적 오버플로우를 방지한다. 위 식을 다시 정리하면

[ \ln p(\mathbf{y}\mid\mathbb{M}i) = \underbrace{\mathbb{E}{\theta\mid\mathbf{y},\mathbb{M}i}\big[\ln p(\mathbf{y}\mid\theta,\mathbb{M}i)\big]}{\text{데이터 적합도}} ;-; \underbrace{D{\mathrm{KL}}!\big(p(\theta\mid\mathbf{y},\mathbb{M}_i),|,p(\theta\mid\mathbb{M}i)\big)}{\text{KL‑발산}} ]

첫 번째 항은 파라미터 집합에 대한 사후 평균 데이터 적합도를, 두 번째 항은 사후와 사전 분포 사이의 Kullback‑Leibler 발산을 의미한다. 최종적으로 증거가 가장 큰 (\ln p(\mathbf{y}\mid\mathbb{M}_i)) 혹은 KL‑발산이 가장 작은 모델이 가장 설득력 있는 모델 클래스로 선택된다.

하지만 이 전통적 접근법은 파라메트릭 모델 구현과 입력‑출력 식별을 전제로 한다. 반면 1D CNN 기반 방법은 파라미터 추정이나 시스템 입력을 알 필요 없이, 순수히 응답 신호만으로 모델 클래스를 판별한다.

1차원 합성곱 신경망(1D CNN)의 기본 구조

CNN은 패턴 인식에 강점을 가진 딥러닝 인공신경망이다. 다층 구조의 컨볼루션 레이어가 입력 데이터에서 공간적(시간적) 계층 구조를 자동으로 학습한다. 1D CNN의 핵심은 컨볼루션 레이어이며, 여기서는 고정된 크기의 필터가 입력 신호를 슬라이딩하면서 점곱(dot product)을 수행한다. 결과적으로 특징 맵(feature map) 은 입력 신호의 국부적 트렌드와 패턴을 포착한다.

실제 구현에서는 서로 다른 필터 크기와 개수를 갖는 다중 컨볼루션 레이어가 연속적으로 쌓인다. 각 레이어는 서로 다른 스케일에서 신호의 특성을 추출한다.

1D CNN vs. 다차원 CNN

1D CNN은 단일 자유도 응답만을 사용하므로, 하드웨어 구현이 간단하고 실시간 적용이 용이하다.

CNN 아키텍처의 주요 레이어

1. 입력 레이어(Input Layer) – 입력 데이터 차원을 정의한다.
2. 컨볼루션 레이어(Convolutional Layer) – 필터를 적용해 특징 맵을 생성한다. 필터 수와 크기는 하이퍼파라미터이다.
3. 배치 정규화 레이어(Batch Normalization) – 활성화와 그래디언트를 정규화해 학습을 안정화한다. 보통 비선형 활성화 함수와 함께 사용한다.
4. 풀링 레이어(Pooling Layer) – 다운샘플링을 수행해 공간(시간) 차원을 축소하고 불필요한 정보를 제거한다.
5. 완전 연결 레이어(Fully Connected Layer) – 추출된 특징을 결합해 최종 클래스를 예측한다. 출력 뉴런 수는 클래스 개수와 동일하다.
6. 소프트맥스 레이어(Softmax Layer) – 출력 값을 0~1 사이의 확률값으로 정규화한다.
7. 분류 레이어(Classification Layer) – 손실 함수를 계산하고, 최적화 알고리즘(예: 확률적 경사 하강법, SGD)으로 파라미터를 업데이트한다.

학습은 에포크(epoch) 단위로 진행되며, 각 에포크는 전체 학습 데이터를 한 번 순회한다.

1D CNN을 이용한 모델 클래스 선택 절차

1. 데이터 준비 – 단일 자유도 응답 신호를 수집하고, 각 신호에 해당하는 모델 클래스를 라벨링한다.
2. 네트워크 정의 – 입력 차원, 컨볼루션 레이어 수·필터 크기·풀링 방식·완전 연결 레이어 구조 등을 지정한다.
3. 가중치 초기화 – 모든 가중치를 무작위로 초기화한다.
4. 전방 전파(Forward Propagation) – 입력 신호를 네트워크에 통과시켜 예측 확률을 얻는다.
5. 오차 역전파(Back‑Propagation) – 소프트맥스 출력과 실제 라벨 간의 교차 엔트로피 손실을 계산하고, 그래디언트를 통해 가중치를 업데이트한다.
6. 에포크 반복 – 미니배치(mini‑batch) 크기와 에포크 수를 지정해 학습을 진행한다. 실시간 적용을 위해 미니배치를 1로 설정할 수도 있다.
7. 모델 평가 – 학습된 네트워크를 사용해 라벨이 없는 새로운 신호를 분류하고, 모델 클래스를 결정한다.

이 과정에서는 시스템 입력이나 파라미터 정보를 전혀 사용하지 않는다.

칼만 필터와의 융합(Fusion)

Smyth와 Wu가 제안한 칼만 필터는 잡음이 섞인 연속 측정값을 기반으로 시스템의 동적 상태를 최적 추정한다. 두 단계로 구성된다.

1. 예측 단계(Prediction) – 동적 프로세스 모델을 이용해 다음 시점의 상태와 공분산을 예측한다.
2. 업데이트 단계(Update) – 실제 측정값을 이용해 예측값을 보정한다. 가중치는 추정 불확실성에 비례한다.

응답‑전용·입력‑미지·모델‑클래스‑미지 상황에서도, 가속도와 변위 측정을 이용해 다음과 같이 상태 방정식을 구성한다.

[ \begin{aligned} \mathbf{y} &= \mathbf{H}\mathbf{x} \quad\text{(관측 방정식)}\ \mathbf{x}_{k+1} &= \mathbf{A}_d \mathbf{x}_k + \mathbf{B}_d $a_k$ \quad\text{(예측 방정식)} \end{aligned} ]

여기서 ($a_k$) 와 ($d_k$) 는 각각 가속도·변위 측정값이며, (\et$a_a$, \et$a_d$) 는 백색 가우시안 잡음이다.

물리‑강화 융합은 변위‑가속도 관계를 물체 운동 방정식으로 연결한다.

[ \ddot{d}(t) = a(t) \quad\Rightarrow\quad d(t+\Delta t) = d(t) + \dot{d}(t)\Delta t + \frac{1}{2}a(t)\Delta t^2 ]

이와 같이 가속도 신호를 적분해 변위와 속도를 얻고, 칼만 필터에 입력함으로써 노이즈 감소와 동적 상태 보강을 동시에 달성한다.

칼만 필터로부터 얻은 보강된 신호는 원시 응답 신호 대신 CNN 학습용 입력으로 활용될 수 있다.

전체 알고리즘 흐름 (Table 1)

표 1에 사용된 기호

• (\mathbf{z}_{h,j}): 레이어 (h)의 뉴런 (j)에 들어오는 입력 벡터
• ($b_j$): 뉴런 (j)의 바이어스(스칼라)
• (\mathbf{s}_i): 이전 레이어 (h-1)의 뉴런 (i) 출력
• (v_{ij}): 커널 가중치(필터)
• (\mathbf{u}_{h,j}): 컨볼루션 후 중간 출력
• ($N_h$): 현재 레이어의 클래스(출력) 수
• (\mathbf{r}_h): 목표(라벨) 벡터
• (\Delt$a_h$): 뉴런 (j)의 오차(delta) 값, 가중치·바이어스 업데이트에 사용

선형 수치 사례: 감쇠 모델 클래스

구조 동역학에서 비례 감쇠(proportional damping) 를 갖는 (n) 자유도 시스템의 표준 운동 방정식은

[ \mathbf{M}\ddot{\mathbf{x}}(t) + \mathbf{C}\dot{\mathbf{x}}(t) + \mathbf{K}\mathbf{x}(t) = \mathbf{f}(t) ]

여기서 (\mathbf{M},\mathbf{K}) 는 각각 질량·강성 행렬이고, (\mathbf{C}) 는 (\mathbf{M})·(\mathbf{K}) 에 비례하는 감쇠 행렬이다. (\mathbf{C}) 가 (\mathbf{\Phi}^T\mathbf{C}\mathbf{\Phi}) 형태의 대각 행렬이 되면 정규 직교성(orthogonality) 이 성립하여 해석이 용이해진다.

하지만 실제 구조물은 비비례 감쇠, 비선형 감쇠, 혹은 커널 함수 (g(t)) 를 통한 컨볼루션 감쇠 모델 등 다양한 감쇠 형태를 보인다. 이러한 경우, 전통적인 파라메트릭 식별이 어려워지며, 본 논문에서 제안한 응답‑전용 1D CNN 은 이러한 복잡한 감쇠 모델을 구분하는 데 유용하다.

결론

본 연구는 파라메트릭 식별 없이도 단일 자유도 응답만으로 모델 클래스 선택을 수행할 수 있는 1차원 합성곱 신경망 기반 프레임워크를 제시한다. 주요 특징은 다음과 같다.

1. 비파라메트릭 접근 – 파라미터 추정·시스템 입력 필요 없음.
2. 칼만 필터 융합 – 물리‑강화된 동적 상태 보강으로 CNN 성능 향상.
3. 경량 구현 – 1D 컨볼루션만 사용하므로 모바일·실시간 적용 가능.
4. 다양한 사례 검증 – 선형·비선형 동적 시스템, 3D 유한요소 건물 모델 등에서 높은 정확도 입증.

향후 연구에서는 (i) 다양한 잡음·불확실성 조건에서의 견고성 분석, (ii) 온라인 적응 학습을 통한 실시간 모델 클래스 전이 감지, (iii) 다중 자유도·다중 센서 융합을 통한 확장성을 탐구할 예정이다.

위 번역은 원문의 의미와 수식을 그대로 유지하면서 최소 2,000자 이상의 한국어 텍스트로 구성되었습니다.