예술작품을 음악으로 변환하는 시각조건과 대규모 교차모달 정렬

초록

본 논문은 자연 사진이 아닌 예술작품을 직접 시각적 임베딩으로 변환해 음악을 생성하는 새로운 프레임워크 Art2Mus와, 10만 개 규모의 작품‑음악 쌍 데이터셋 ArtSound를 제시한다. 이미지‑텍스트 중간 단계 없이 시각 정보만으로 음악을 합성함으로써, 작품의 스타일·감정·문화적 맥락을 보다 풍부하게 반영한다. 실험 결과, 텍스트 기반 시스템에 비해 정량적 정렬 점수는 낮지만, 청취자 평가에서는 시각‑음향 일관성과 창의성이 경쟁력을 보였다.

상세 분석

Art2Mus는 기존 이미지‑음악 생성 모델이 갖는 두 가지 근본적 한계를 극복하기 위해 설계되었다. 첫 번째 한계는 학습 데이터가 주로 자연 사진에 국한돼 예술작품이 지닌 복합적 의미와 스타일을 포착하지 못한다는 점이다. 이를 해결하기 위해 저자들은 WikiArt 기반의 ArtGraph와 Creative‑Commons 라이선스의 Free Music Archive를 결합해 105,884개의 작품‑음악 쌍을 구축하였다. 각 쌍은 이미지와 오디오에 대해 별도 캡션을 생성하고, 제안된 I​C​S​score와 A​C​S​score 메트릭으로 품질을 검증한다. I​C​S​score는 CLIP‑Score와 PAC‑Score를 가중 평균해 시각적 속성과 텍스트 설명 간의 일치도를 측정하고, A​C​S​score는 ROUGE‑1과 BERT‑Score를 결합해 오디오 캡션의 내용·의미 보존을 평가한다. 이러한 이중 캡션 체계는 데이터 정합성을 높여 모델 학습 시 시각‑청각 간의 교차 모달 정렬을 강화한다.

두 번째 한계는 이미지‑텍스트 변환 단계가 존재함으로써 시각 정보가 언어라는 중간 매개체에 압축돼, 미세한 텍스처·색채·구성 등 비언어적 특성이 손실된다는 점이다. Art2Mus는 이 문제를 근본적으로 회피한다. 구체적으로, 작품 이미지는 CLIP 또는 ImageBind와 같은 사전 학습된 비전 인코더를 통해 고차원 임베딩을 추출한다. 이후 이 임베딩을 선형·비선형 변환 네트워크를 통해 잠재 확산 모델(Latent Diffusion Model, LDM)의 조건 공간에 매핑한다. 여기서 LDM은 기존 텍스트‑조건 확산 모델을 그대로 활용하되, 텍스트 토큰 대신 시각 임베딩이 입력되도록 설계되었다. 변환 네트워크는 단순 선형 프로젝션을 넘어 다층 퍼셉트론과 어텐션 기반 교차 모달 어댑터를 포함해, 시각적 특징을 음향적 특성(템포, 조성, 악기 구성 등)과 정교하게 연결한다.

학습 과정에서는 음악 트랙을 멜스펙트로그램 형태로 변환하고, 이를 LDM의 디코더가 복원하도록 지도한다. 손실 함수는 재구성 손실 외에 시각‑음향 정렬을 촉진하는 교차 모달 코사인 유사도와, 음악적 일관성을 유지하기 위한 음악 전용 규제(예: 리듬 연속성, 화성 안정성)를 추가한다. 결과적으로 모델은 “시각 → 잠재 → 오디오”의 직접 경로를 학습하게 되며, 텍스트 기반 시스템이 제공하는 명시적 의미보다 더 풍부한 비언어적 단서를 활용한다.

실험에서는 정량적 정렬 지표(예: CLIP‑AudioScore)에서 텍스트‑조건 모델보다 낮은 점수를 기록했지만, 인간 청취자 평가에서는 시각‑음악 일관성, 스타일 적합성, 감정 전달 측면에서 경쟁력을 보였다. 특히, 추상화된 현대 미술이나 색채가 강렬한 인상파 작품에 대해 모델이 생성한 음악은 해당 작품의 분위기와 색채 감성을 반영한 멜로디와 화성을 보여, 시각‑청각 간의 의미적 연결이 가능함을 입증한다.

이 논문은 (1) 대규모 예술‑음악 데이터셋 구축, (2) 텍스트 중간 단계 없이 시각 임베딩을 직접 조건으로 활용하는 확산 기반 음악 생성 프레임워크, (3) 교차 모달 정렬을 위한 새로운 평가 메트릭을 제시함으로써, 멀티모달 생성 AI 분야에서 새로운 연구 방향을 제시한다. 향후 연구는 더 정교한 시각‑음향 어댑터 설계, 장시간 음악 생성, 그리고 사용자 맞춤형 인터랙티브 시스템으로 확장될 수 있다.