시스템 식별을 위한 최적 입력 신호 설계: 계산 가능한 베이지안 접근법

초록

본 논문은 시스템 식별에서 정보가 풍부한 입력 신호를 설계하기 위한 새로운 베이지안 방법을 제안한다. 기존 피셔 정보 기반의 국소적 방법의 한계를 극복하기 위해, 모수와 관측치 간의 상호 정보(MI)를 효용 함수로 사용한다. 직접적인 MI 계산의 난해함을 해결하기 위해 계산 가능한 MI 하한을 최대화하는 전략을 채택하였으며, 준선형 확률 동적 시스템에 적용한다. 특히 대규모 공분산 행렬 역행렬 문제를 해결하기 위해 차원을 N배 줄이는 알고리즘을 개발하여 긴 실험에서도 방법의 실용성을 확보했다. 제안 방법은 기존의 평균 D-최적 설계법보다 우수한 성능을 보였으며, 원자 센서 모델 등 네 가지 예시를 통해 그 효과를 입증했다.

상세 분석

본 논문의 핵심 기여는 시스템 식별 분야에 강력한 베이지안 실험 설계 방법론을 도입한 데 있다. 기존의 피셔 정보 행렬(FIM) 기반 최적 설계는 점근적 정규성과 선형화에 의존하는 ‘국소적(local)’ 방법으로, 큰 사전 불확실성과 강한 비선형성을 가진 현실 문제에 취약했다. 저자들은 이를 해결하기 위해 ‘전역적(global)‘이며 사전 정보를 자연스럽게 통합할 수 있는 베이지안 프레임워크를 채택했다.

기술적 핵심은 상호 정보(Mutual Information)라는 정보이론적 척도를 최적화 기준으로 삼은 것이다. MI는 관측치 Y가 제공하는 모수 θ에 대한 정보의 양을 정량화하며, 이를 최대화하는 설계는 추정 오차를 근본적으로 줄일 수 있다는 것이 정보이론적 하한(ITB) 정리를 통해 증명되었다. 그러나 MI 계산은 관측치와 모수에 대한 고차원 적분을 필요로 하므로 계산적으로 난제다.

논문의 주요 돌파구는 Kolchinsky와 Tracey가 제안한 MI의 하한(I_l)을 계산 가능한 형태로 도입하고, 이를 최대화하는 근사 최적 설계 문제(식 (34))로 전환한 것이다. 이 하한은 가우시안 혼합 모델에서 두 구성 요소 간의 거리(d_i,j)에 기반하며, 특히 준선형 시스템에서는 F(θ,U)가 U에 대해 선형이고 공분산 S가 U와 무관할 때 d_i,j가 U에 대한 양정치 2차 형식이 되어 최적화 문제가 볼록 최적화 문제로 단순화되는 이점이 있다.

또한, 실용적 기여로 대규모 계산 문제를 해결한 알고리즘 개발을 꼽을 수 있다. N개의 데이터 포인트에 대해 차원이 N에 따라 선형으로 증가하는 공분산 행렬의 역행렬 계산은 시스템 식별의 장기 실험에서 치명적 병목 현상이다. 저자들은 이 행렬의 차원을 N배 줄이는 알고리즘을 개발하여 방법의 확장성을 획기적으로 개선했다.

마지막으로, 원자 센서(예: 광펌프 자력계)와 같은 첨단 물리 시스템에 대한 적용 예시는 이 방법론의 광범위한 유용성을 보여준다. 복잡한 비선형 의존성을 가진 시스템에서도 제안된 방법은 직관적인 조화 신호보다 훨씬 우수한 입력 신호를 생성해냈으며, MAP 추정기의 오차가 이론적 하한에 도달함을 확인하여 방법의 실효성을 입증했다.