사용자 맞춤 표현 연주 인터페이스

본 논문은 ‘User Curated Shaping of Expressive Performances’라는 제목 아래, 악보의 구조적 특징과 연주의 표현 파라미터 사이의 관계를 사용자가 직접 탐색하고 조절할 수 있는 인터랙티브 시스템을 제안한다. 연구 배경으로는 서양 클래식 피아노 연주에서 템포, 다이내믹, 아티큘레이션 등 다양한 표현 차원이 악보에 명시된 기호와 연주자의 해석에 의해 복합적으로 변형된다는 점을 들었다. 기존의 컴퓨팅 모델들은 주로 하나의 고정된 연주 전략을 학습하거나, 전역적인 파라미터(예: 전체 템포, 평균 다이내믹)만을 제어하는 수준에 머물렀다. 이러한 한계를 극복하고자, 저자들은 ‘Basis Function Model’이라는 데이터‑드리븐 프레임워크를 기반으로, 개별 스코어 특징이 연주에 미치는 영향을 정량화하고, 이를 사용자가 직접 가중치를 부여해 새로운 연주를 생성하도록 설계하였다. 2절에서는 Basis Function Model의 핵심 개념을 정리한다. 악보의 각 음표 혹은 온셋(시점)에 대해 피치, 박자 위치, 음표 길이 등 다양한 ‘basis function’이 수치화되어 벡터 ϕ로 표현된다. 이러한 ϕ를 입력으로 하여, 비선형 함수 f(·)—구체적으로는 양방향 LSTM 네트워크—가 온셋‑와이즈 파라미터(예: MIDI velocity trend, log beat period ratio)와 노트‑와이즈 파라미터(예: velocity deviation, timing deviation, articulation) 등을 예측한다. 모델은 Magaloff/Chopin과 Zeilinger/Beethoven 데이터셋을 이용해 지도학습으로 훈련되었으며, 각 파라미터는 곡 전체 평균 0, 표준편차 1로 정규화한다. 3절에서 제안된 ‘User‑controlled Basis Function Models’가 소개된다. 핵심 아이디어는 신경망 출력에 대한 로컬 선형 근사(First‑order Taylor expansion)를 이용해, 각 basis function이 출력에 기여하는 양을 Jacobian 행렬의 원소로 해석하는 것이다. 구체식 ỹᵢ = c + (∂f/∂ϕ | ϕ*)ᵀ·(ϕᵢ − ϕ*)에서 c는 사용자가 지정할 수 있는 상수(예: 평균 템포), ϕ*는 기준점(보통 평균 ϕ)이다. 이 근사를 통해 온셋‑와이즈와 노트‑와이즈 두 모델 모두에 대해 ‘기여도 행렬’을 얻을 수 있다. 3.1절에서는 실제 인터페이스 구현이 상세히 설명된다. 화면에는 예측된 연주 파형(velocity, beat period 등)이 시각화되고, 각 basis function에 대응하는 슬라이더가 제공된다. 사용자는 슬라이더를 움직여 Jacobian 행렬의 특정 열(즉, 특정 스코어 특징)의 스케일을 조정한다. 조정된 가중치는 로컬 선형 근사에 반영되어 새로운 온셋‑와이즈·노트‑와이즈 파라미터가 즉시 재계산된다. 재계산된 파라미터는 MIDI 엔진에 전달돼 실시간으로 청취 가능한 연주로 변환된다. 또한, 전체 템포와 아티큘레이션의 평균·표준편차를 별도로 조절할 수 있어, 전역적인 스타일 변화도 동시에 적용 가능하다. 결론(4절)에서는 이 시스템이 제공하는 교육적·창작적 가능성을 강조한다. 사용자는 악보 기호가 실제 연주에 어떻게 반영되는지 시각·청각적으로 체험함으로써, 복잡한 표현 메커니즘을 직관적으로 이해할 수 있다. 동시에, 자신이 중요하게 생각하는 스코어 요소에 가중치를 부여해 개인화된 해석을 만들 수 있다. 향후 연구 과제로는 현재 피아노 독주에 한정된 적용 범위를 확대하고, 실시간 입력에 대한 즉각적인 모델 업데이트, 그리고 다중 악기·다양한 장르에 대한 일반화 등을 제시한다. 요약하면, 본 논문은 Basis Function Model과 로컬 선형 근사를 결합해, 사용자가 스코어 특징별 가중치를 직접 조절함으로써 표현 파라미터를 실시간으로 재구성할 수 있는 인터랙티브 시스템을 구현하였다. 이는 기존의 블랙박스형 연주 모델을 해석 가능하고 사용자 중심으로 전환하는 중요한 단계이며, 음악 교육, 연주 연습, 자동 반주 및 창작 지원 등 다양한 분야에 적용될 잠재력을 가진다.