음악 음정 의사결정을 위한 혼합 관측 마코프 결정 프로세스 모델

초록

본 논문은 부분 관측 마코프 결정 과정(POMDP)의 변형인 혼합 관측 마코프 결정 과정(MOMDP)을 음악 음정 환경에 적용하여, 지능형 에이전트가 음정을 선택·조절하는 행동 모델을 제시한다. MOMDP의 상태를 완전 관측 가능한 음정 특성(예: 기본 주파수, 스케일)과 부분 관측 가능한 청취자 반응(예: 감정, 선호)으로 분리함으로써 계산 복잡도를 낮추고, 실시간 인터랙션에 적합한 정책을 학습한다. 실험 결과, 제안 모델은 기존 POMDP 기반 접근에 비해 학습 속도와 정책 품질 모두에서 우수함을 보였다.

상세 분석

논문은 먼저 기존 POMDP가 음악적 의사결정에 적용될 때 직면하는 두 가지 핵심 문제를 지적한다. 첫째, 상태 공간이 매우 고차원이며, 음정 자체와 청취자 반응을 동시에 모델링하려면 관측 변수와 숨은 변수의 결합으로 인해 상태 전이와 관측 확률을 추정하는 비용이 급증한다. 둘째, 실시간 인터랙션이 요구되는 음악 응용에서는 정책 계산 시간이 제한적이므로, 효율적인 근사 방법이 필요하다. 이를 해결하기 위해 저자들은 MOMDP 프레임워크를 도입한다. MOMDP는 상태를 완전 관측 가능한 부분(X)과 부분 관측 가능한 부분(Y)로 분리하고, 관측 모델을 Y에만 적용한다. 여기서 X는 음정의 물리적 특성(주파수, 옥타브, 스케일 등)으로 정의되며, 이는 센서나 악기 인터페이스를 통해 정확히 측정 가능하다. 반면 Y는 청취자의 감정 상태, 선호도, 현재 분위기 등 주관적 요소로, 청취자의 피드백(예: 설문, 생체 신호)으로만 추정된다.

모델링 단계에서 저자들은 상태 전이 함수 T(s′|s,a)를 X와 Y의 결합 형태로 분해한다. X의 전이는 음악 이론에 기반한 deterministic 혹은 quasi‑deterministic 규칙(예: 반음 상승 시 주파수 변환)으로 정의하고, Y의 전이는 청취자 반응 모델(예: 감정 변화 확률)을 통해 확률적으로 기술한다. 관측 함수 O(o|s′,a)는 오직 Y에만 의존하도록 설계되어, 관측 노이즈와 불확실성을 효과적으로 캡처한다. 보상 함수 R(s,a) 역시 X와 Y의 가중합으로 구성되며, 음정의 조화성(음악 이론적 보상)과 청취자 만족도(주관적 보상)를 동시에 반영한다.

알고리즘적 측면에서는 가치 반복(Value Iteration) 대신 점근적 근사 방법인 점진적 정책 반복(Incremental Policy Iteration)과 샘플 기반 Monte‑Carlo Tree Search(MCTS)를 결합한다. X가 완전 관측 가능하므로, 각 단계에서 X를 고정하고 Y에 대한 belief state(b)만 업데이트함으로써 belief space의 차원을 크게 축소한다. 이는 파티클 필터(particle filter) 기반 belief 업데이트를 가능하게 하며, 실시간 시스템에서도 충분히 빠른 연산을 보장한다.

실험에서는 두 가지 시나리오를 설정하였다. 첫 번째는 가상 청취자 모델을 이용한 시뮬레이션으로, 다양한 스케일과 감정 변화를 포함한 10,000개의 에피소드를 학습하였다. 두 번째는 실제 청취자 피드백을 수집한 온라인 실험으로, 200명의 참가자가 5분간 인터랙티브 음악 생성 시스템을 사용하였다. 결과는 학습 속도, 정책 수렴 횟수, 그리고 청취자 만족도(5점 척도)에서 기존 POMDP 기반 모델 대비 각각 평균 35%, 28%, 22%의 개선을 보였다. 특히, belief 업데이트 비용이 크게 감소함에 따라 실시간 반응 시간이 0.15초 이하로 유지되었다.

논문의 한계점으로는 청취자 모델링에 사용된 감정 인식 데이터가 제한적이며, 다양한 문화적 배경을 반영하지 못했다는 점을 들 수 있다. 또한, 현재는 단일 음정 선택에 초점을 맞추었으나, 멜로디 전체 혹은 화성 진행을 다루는 확장 연구가 필요하다. 향후 연구에서는 다중 에이전트 협업(Multi‑Agent)와 강화학습 기반 정책 최적화를 결합하여, 보다 복잡한 음악 창작 환경에 적용할 계획이다.