신뢰할 수 있는 오디오 감정 컴퓨팅을 위한 TAAC 프레임워크

본 논문은 오디오 기반 우울증 진단 시스템에서 사용자의 신원 정보(ID)가 무단으로 유출될 위험성을 지적하고, 이를 방지하면서도 높은 진단 정확도를 유지할 수 있는 새로운 프레임워크 TAAC(Trustable Audio Affective Computing)를 제안한다. 기존 연구들은 주로 우울증 검출 정확도 향상에 초점을 맞추었으며, 데이터의 신뢰성(Trustability) 즉, 개인 정보 보호와 결과 추적 가능성에 대한 고려가 부족했다. 저자들은 이러한 문제를 ‘Confidentiality(기밀성)’, ‘Accuracy(정확도)’, ‘Traceability(추적성)’, ‘Adjustability(조정성)’ 네 가지 요구사항으로 정리하고, 이를 동시에 만족시키는 시스템 설계가 필요함을 주장한다. TAAC의 핵심 구성 요소는 세 가지이다. 첫 번째는 차별화 특징 서브스페이스 분해기(DFSD)이다. DFSD는 양쪽 끝에 배치된 듀얼 엔드 오토인코더에 서브스페이스 기반 디스엔탱글링 손실을 적용하여 입력 오디오를 두 개의 직교 서브스페이스로 분해한다. 하나는 비우울증(또는 ID) 서브스페이스 U_nd, 다른 하나는 우울증 서브스페이스 U_d이다. 이때 U_nd와 U_d는 정규 직교 제약(UT_nd U_d = 0)을 통해 서로의 정보를 최소화한다. 결과적으로 ID와 우울증 관련 특징이 서로 얽히는 현상을 수학적으로 억제하고, 각각의 서브스페이스에서 독립적인 특징을 추출할 수 있다. 두 번째는 유연한 잡음 암호화기(FNE)이다. FNE는 Deterministic Tensor Diffusion(DTD)이라는 결정적 텐서 확산 방식을 채택한다. 마코프 체인 형태의 점진적 잡음 주입을 통해 U_nd에 해당하는 특징에 가변적인 노이즈를 추가한다. 암호화 강도는 단계별 노이즈 레벨을 조절함으로써 동적으로 설정 가능하며, 암호화된 특징은 역전파가 가능한 형태로 유지돼 학습 과정에서 직접 사용될 수 있다. 중요한 점은 암호화된 ID 특징이 복원 불가능하도록 설계되었지만, 복호화 키 없이도 원본 오디오 재구성은 가능하도록 설계된 점이다. 세 번째는 단계적 학습 패러다임이다. 학습은 크게 세 단계로 진행된다. ① 초기 단계에서는 DFSD와 기본 복원 손실을 중심으로 서브스페이스 분해를 안정화한다. ② 중간 단계에서는 FNE를 도입해 점진적으로 잡음을 추가함으로써 ID 서브스페이스를 암호화한다. ③ 최종 단계에서는 우울증 분류기와 재구성 디코더를 공동 학습시켜, 암호화된 ID 특징이 우울증 판별에 미치는 영향을 최소화한다. 이 멀티스테이지 학습은 각 모듈이 전용 목표에 집중하도록 하여 전체 시스템의 성능을 최적화한다. 실험에서는 주요 공개 데이터셋인 DAIC‑WOZ를 활용해 기존 암호화 기법(카오스 맵 기반, Cosine Number Transform, 동형암호 등)과 비교하였다. 결과는 다음과 같다. (1) ID 복원률은 기존 방법 대비 5 % 이하로 크게 감소하였다. (2) 우울증 검출 정확도는 F1 ≈ 0.94, 정확도 ≈ 96 %로 기존 최첨단 모델과 거의 동등하거나 약간 상회하였다. (3) 다양한 암호화 강도 설정에서도 성능 변동이 미미하여, 실용적인 적용 가능성을 입증하였다. 또한, 암호화된 특징이 고차원 공간에서 어떻게 분산되는지를 시각화하고, 재구성된 오디오가 원본과 청각적으로 유사함을 확인하였다. 논문은 또한 차별화된 서브스페이스가 실제 음성 신호 재구성에 충분히 기여함을 실험적으로 증명한다. DFSD를 통해 추출된 U_d와 U_nd는 각각 우울증 진단용 피처와 ID 보호용 피처로 독립적으로 활용될 수 있으며, FNE가 적용된 U_nd는 역방향으로 복원 불가능하도록 설계되었지만, 전체 신호 복원은 U_d와 암호화된 U_nd를 결합함으로써 가능하다. 이는 데이터 소유자(Party A)가 결과를 수신한 뒤 필요에 따라 원본 오디오를 복원하고, 개인 식별 정보를 재연할 수 있게 함으로써 ‘Traceability’를 보장한다. 결론적으로, TAAC는 서브스페이스 분해와 점진적 잡음 암호화를 결합한 새로운 프레임워크를 통해, 의료 AI 시스템에서 필수적인 기밀성, 정확도, 추적성, 조정성을 동시에 만족시키는 최초의 실용적 접근법을 제시한다. 향후 연구에서는 멀티모달(텍스트·영상) 데이터에 대한 확장, 실시간 스트리밍 환경에서의 경량화, 그리고 법적·윤리적 규제와의 연계 방안 등을 탐색할 여지가 있다.