실시간 음악 에이전트 설계 공간

초록

본 논문은 실시간 음악 연주에 참여하는 지능형 시스템, 즉 ‘라이브 음악 에이전트’를 184개의 사례(학술 논문 153편·영상 31편)를 분석해 사용 맥락, 상호작용, 기술, 생태계 네 가지 축으로 구성된 설계 공간을 제시한다. 31개의 차원과 165개의 설계 코드가 도출되며, 현재 연구 흐름과 부족한 영역을 조명한다. 또한 설계 공간 활용 예시와 향후 연구·디자인 방향을 제시하고, 모든 데이터를 공개한다.

상세 분석

이 논문은 HCI, AI, 컴퓨터 음악이라는 서로 다른 학문 공동체가 각각 독립적으로 발전해 온 점을 비판적으로 진단하고, 이를 통합하기 위한 체계적인 설계 공간을 구축한다. 184개의 시스템을 선정할 때는 학술 논문과 온라인 영상 두 가지 소스를 모두 포함했으며, 이는 연구 결과와 실제 실무·예술 현장의 격차를 최소화하려는 의도이다. 설계 공간은 ‘사용 맥락(Usage Context)’, ‘상호작용(Interaction)’, ‘기술(Technology)’, ‘생태계(Ecosystem)’ 네 축으로 나뉘며, 각 축은 다시 세부 차원으로 세분화된다. 예를 들어 사용 맥락에서는 공연 규모, 협업 파트너(인간·에이전트·혼합), 연주 환경(스튜디오·무대·온라인) 등을 코드화하고, 상호작용 차원에서는 입력 방식(악기, 제스처, 음성, 텍스트), 제어 범위(전역·부분), 반응성(수동·자동·예측) 등을 구분한다. 기술 차원에서는 모델 종류(규칙 기반·딥러닝·대형 언어 모델), 학습 방식(오프라인·온라인·강화학습), 지연 시간, 오디오 합성 방식 등을 상세히 코딩했으며, 생태계 차원에서는 배포 형태(플러그인·앱·클라우드), 라이선스·비즈니스 모델, 정책·윤리적 고려사항 등을 포함한다.

핵심 인사이트는 다음과 같다. 첫째, 현재 대부분의 시스템은 ‘반응형 보조자’ 역할에 머물며, 창의적 주도권을 가진 ‘프로액티브 파트너’는 드물다. 둘째, AI 기반 음성·텍스트 입력을 활용한 사례가 급증했지만, 실시간 오디오 합성의 품질·지연 문제는 여전히 해결 과제로 남아 있다. 셋째, HCI 관점에서 사용자 경험·투명성·제어 가능성을 강조하는 연구가 부족해, 음악가가 시스템을 신뢰하고 창작 과정에 통합하기 어려운 상황이다. 넷째, 생태계 차원에서 상업적 라이선스·오픈소스·데이터 정책이 일관되지 않아, 연구 재현성과 장기적인 유지보수가 제한된다.

이 설계 공간은 31개의 차원과 165개의 코드를 통해 기존 시스템을 비교·분류할 뿐 아니라, 아직 탐색되지 않은 조합(예: 대형 언어 모델 기반의 실시간 악보 생성 + 제스처 입력 + 클라우드 협업)을 식별한다. 따라서 연구자와 디자이너는 이 프레임워크를 활용해 ‘어디에 초점을 맞출 것인가’, ‘어떤 기술적 트레이드오프가 존재하는가’를 명확히 할 수 있다. 또한, 설계 공간 자체가 살아있는 아티팩트로 공개돼 커뮤니티가 지속적으로 업데이트하고 확장할 수 있도록 설계된 점도 주목할 만하다.