숨은 목소리 딥러닝 기반 음성 스테가노그래피

본 논문은 “숨은 목소리”라는 제목 아래, 딥러닝을 활용한 음성 스테가노그래피(비밀 메시지를 일반 음성에 은닉하는 기술)의 새로운 패러다임을 제시한다. 기존 연구들은 이미지 데이터를 대상으로 스테가노그래피 모델을 설계했으며, 이러한 모델을 그대로 음성에 적용하면 시간‑주파수 변환 과정에서 발생하는 위상 손실과 오버랩‑앤‑애드(Overlap‑Add) 구조 때문에 복원된 메시지가 크게 손상되는 문제를 보였다. 저자들은 이러한 문제점을 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫 번째는 STFT와 ISTFT를 신경망 내부에 미분 가능한 레이어로 삽입하는 것이다. 일반적인 음성 처리 파이프라인에서는 원시 파형을 STFT를 통해 스펙트로그램(주파수‑시간 행렬)으로 변환하고, 이를 기반으로 특성을 추출한다. 그러나 스펙트로그램은 복소수 형태이며, 특히 위상 정보는 손실되기 쉬워 역변환 시 원본 파형과 차이가 발생한다. 논문에서는 STFT 연산을 \(S\)로, 역변환을 \(S^\dagger\)로 정의하고, 이를 1‑D 컨볼루션 형태로 구현해 네트워크가 역전파 과정에서 직접 미분할 수 있게 했다. 이렇게 하면 손실 함수에 \(\|C - \hat C\|_1\)와 \(\|M - \tilde M\|_1\)를 동시에 포함시켜, 생성된 스펙트로그램 \(\hat C\)가 역변환 후 원본 위상 \(\angle C\)와 결합될 때 시간 영역 파형 \(\tilde c\)가 원본 \(c\)와 청각적으로 거의 구분되지 않도록 강제한다. 두 번째는 다중 메시지 은닉을 지원하는 구조 설계이다. 하나의 음성 캐리어에 여러 개의 비밀 메시지를 동시에 삽입하고, 각각을 별도의 디코더 혹은 하나의 조건부 디코더를 통해 복원한다. 구체적으로, \(k\)개의 메시지 \(\{M_i\}_{i=1}^k\)를 입력받아 인코더 \(E\)가 캐리어 \(C\)를 잠재 표현으로 변환하고, 이와 원본 캐리어, 메시지를 채널 차원에서 결합해 \(\mathbf{H}\)를 만든다. 이후 캐리어 디코더 \(D_c\)가 \(\hat C\)를 생성하고, STFT·ISTFT 레이어를 거쳐 \(\tilde C\)를 만든 뒤, 각각의 메시지 디코더 \(D_{m,i}\) 혹은 조건부 디코더 \(D_m\)가 \(\tilde C\)와 메시지 인덱스 코드를 입력받아 \(\hat M_i\)를 복원한다. 실험에서는 3개와 5개의 메시지를 동시에 은닉했을 때, 다중 디코더와 조건부 디코더 모두 비슷한 복원 품질을 보였으며, 메시지 수가 늘어날수록 캐리어 손실과 메시지 SNR이 약간 감소했지만, 여전히 인간이 감지하기 어려운 수준을 유지했다. 네트워크 구조는 모두 게이트형 컨볼루션(Gated Convolution) 블록으로 구성했으며, 인코더는 3블록, 캐리어 디코더는 4블록, 메시지 디코더는 6블록을 사용한다. 각 블록은 64개의 3×3 커널을 포함한다. 학습은 Adam 옵티마이저를 사용해 80 epoch 동안 진행했으며, 초기 학습률은 \(10^{-3}\)이고 20 epoch마다 10배 감소시켰다. 손실 가중치는 \(\lambda_c = 3\), \(\lambda_m = 1\)로 설정해 캐리어와 메시지 복원 간 균형을 맞췄다. 실험은 두 개의 공개 음성 데이터셋인 TIMIT(다양한 발음과 어휘)과 YOHO(소규모 화자)에서 수행했다. STFT 파라미터는 윈도우 길이 256, 홉 128이며, 모든 음성은 16 kHz로 샘플링했다. 단일 메시지 실험에서는 기존 이미지 전용 스테가노그래피 모델인 Baluja et al. (2017)와 Zhu et al. (2018)과 비교했을 때, 제안 모델은 캐리어 손실(AE)과 SNR 모두에서 우수한 성능을 보였다. 예를 들어 TIMIT에서 제안 모델의 캐리어 SNR은 28.27 dB, 메시지 SNR은 8.76 dB였으며, 이는 기존 모델이 0.14 dB 수준에 머물렀던 것에 비해 크게 개선된 수치이다. 또한 adversarial loss를 추가한 변형(Ours + Adv)은 캐리어 품질을 더욱 향상시켰지만, 메시지 복원 정확도는 약간 감소하는 트레이드오프를 나타냈다. 주관적 평가에서는 ABX 테스트를 통해 인간 청취자들이 원본과 은닉된 캐리어를 구분한 비율이 51.2%에 불과했으며, 이는 무작위 추측(50%)에 근접한다는 것을 의미한다. 메시지 intelligibility는 AMT(아마존 메카니컬 터크)에서 WER와 CER를 측정해 원본과 복원된 메시지 간 차이가 미미함을 확인했다(원본 CER 5.1% vs 복원 CER 5.15%). 스피커 인식 실험에서도 은닉된 음성에서 화자 특성이 유지됨을 확인했으며, 이는 비텍스트 메시지를 은닉함으로써 얻을 수 있는 부가적인 장점이다. 채널 왜곡에 대한 강인성 실험에서는 MP3 압축, 가우시안 화이트 노이즈, 샘플링 레이트 감소 등 다양한 변형을 적용했으며, 제안 모델은 이러한 왜곡에도 비교적 안정적인 복원 성능을 유지했다. 이는 STFT·ISTFT 레이어가 학습 단계에서 시간‑주파수 변환 과정에서 발생하는 손실을 보정하도록 설계되었기 때문이다. 결론적으로, 이 논문은 음성 스테가노그래피에 딥러닝을 적용할 때 도메인 특성을 반영한 설계가 필수적임을 실증하고, 미분 가능한 STFT/ISTFT 레이어와 다중 메시지 지원 구조를 통해 기존 이미지 기반 접근법의 한계를 극복한다. 향후 연구에서는 보다 복잡한 음성 코덱 환경, 실시간 스트리밍 시나리오, 그리고 보안 측면에서의 적대적 공격에 대한 방어 메커니즘을 탐구할 여지가 있다.