알림넷 ACGAN을 활용한 독특한 다스트가 음악 생성

초록

본 논문은 알림넷(AlimNet)이라는 조건부 ACGAN 모델을 설계·학습시켜, 이란 전통 음악인 다스트가(Dastgah) 체계와 악기(바이올린·스트로)별로 구분된 7가지 클래스를 갖는 MICM 데이터셋을 기반으로 인공 음악을 생성한다. 입력은 STFT로 변환된 시간‑주파수 스펙트로그램이며, 생성된 스펙트로그램을 ISTFT로 복원해 청취 가능한 오디오를 만든 뒤, 전문가 10명에게 평가받아 평균 76.5%의 만족도를 얻었다.

상세 분석

알림넷은 기존 ACGAN 구조에 조건부 레이블을 직접 삽입하는 하이브리드 아키텍처를 채택한다. 생성기(G)와 판별기(D) 모두 1‑D 컨볼루션 레이어와 2‑D 트랜스포즈 컨볼루션 레이어를 교차 배치해, 시간축의 연속성을 유지하면서 주파수축의 해상도를 점진적으로 확대한다. 특히, 레이블 임베딩을 고차원 텐서와 결합해 입력 노이즈와 함께 전달함으로써, “다스트가+악기”라는 14개의 클래스를 명시적으로 학습한다.

데이터 전처리 단계에서는 원본 오디오(44.1 kHz)를 1024‑point FFT, 256‑point hop size로 STFT 변환해 256 × N 형태의 스펙트로그램을 만든다. 이때 로그 스케일 파워 스펙트럼을 사용해 동적 범위를 압축하고, 정규화 과정을 거쳐 신경망 입력에 적합하도록 한다. 판별기는 실제와 생성된 스펙트로그램을 동시에 입력받아, 진위 판단뿐 아니라 클래스별 교차 엔트로피 손실을 계산한다. 따라서 D는 두 가지 목표—진위 구분과 레이블 예측—를 동시에 최적화한다.

생성기 손실은 판별기의 진위 판단에 대한 BCE 손실과, 레이블 일치에 대한 CCE 손실을 가중합한 형태이며, 이는 전통적인 ACGAN과 동일하지만 알림넷은 레이어별 배치 정규화와 스케일링 파라미터를 조정해 학습 안정성을 높였다. 학습은 200 epoch, 배치 크기 64, Adam 옵티마이저(β₁=0.5, β₂=0.999)를 사용했으며, 초기 50 epoch는 판별기 우선 학습 후 점진적으로 생성기와 판별기를 교대로 업데이트한다.

생성된 스펙트로그램은 ISTFT를 통해 시간 도메인 오디오로 복원한다. 복원 과정에서 위상 정보를 원본과 동일하게 재사용하지 못해 약간의 아티팩트가 발생하지만, 청취 테스트 결과 인간 청취자들이 크게 불편함을 느끼지는 않았다. 평가 단계에서는 무작위로 선정된 10개의 생성 샘플(바이올린 5곡, 스트로 5곡)을 10명의 전문 연주자에게 제시하고, “다스트가와 악기 일치도”, “음악적 자연스러움”, “전통적 특성 보존” 세 항목을 5점 척도로 평가하도록 했다. 평균 점수는 3.825점(76.5%)으로, 기존 무조건적 GAN 기반 음악 생성보다 현저히 높은 수준을 기록했다.

한계점으로는 (1) 위상 복원 오류로 인한 음질 저하, (2) 다스트가 라벨이 상대적으로 적은 데이터(1137개) 때문에 클래스 불균형이 존재, (3) 현재는 바이올린과 스트로 두 악기에만 국한되어 있어 다른 전통 악기 확장에 추가 연구가 필요하다. 향후 연구에서는 복소수 스펙트로그램을 직접 처리하는 복소수 GAN, 멀티모달 조건(예: 악보 이미지) 결합, 그리고 고해상도 오디오 복원을 위한 신경망 기반 위상 추정 기법을 도입할 계획이다.