생성기 출처 추적을 위한 역전파 기반 방법

초록

본 논문은 화이트박스 환경에서 여러 GAN·오토인코더 생성기의 출처를 판별하고, 해당 이미지가 실제로 해당 생성기에 의해 만들어졌는지를 확인하기 위해 생성 과정을 역전파로 최적화하는 방법을 제안한다. 다중 시작 최적화와 재구성 오차 기반 점수를 이용해 가장 낮은 손실을 보이는 생성기를 선택하고, 잠재 벡터 z 를 복원한다. MNIST 문자와 고해상도 얼굴 데이터셋을 이용한 실험에서 비중첩·중첩 학습 데이터, 순서 차이, 압축 등 다양한 조건에서도 높은 ROC‑AUC를 달성하였다.

상세 분석

이 연구는 기존 이미지 포렌식이 카메라 PRNU와 같은 저수준 물리적 신호에 의존하는 반면, 합성 이미지에 대한 출처 식별은 전혀 다른 접근이 필요함을 강조한다. 저자들은 “제한된 출처 판별(limited attribution)”과 “역전(inversion)” 문제를 하나의 프레임워크로 통합한다. 수학적으로는 각 생성기 Gᵢ 를 z → I 의 매핑으로 보고, 주어진 탐지 이미지 I 에 대해 Lᵢ(z)=‖I−Gᵢ(z)‖²/MN 을 최소화하는 z 를 찾는다. 이때 Lᵢ 가 가장 작은 생성기가 원본 생성기로 추정된다.

핵심 아이디어는 고차원 이미지 공간에서 저차원 잠재 공간이 형성하는 매니폴드가 무작위 초기화·학습 순서·데이터 샘플링 등에 따라 서로 겹치지 않을 확률이 높다는 점이다. 따라서 서로 다른 학습 과정을 거친 동일 구조의 생성기라도 매니폴드가 미세하게 다르게 배치되어 재구성 오차가 구별 가능하게 된다.

실제 구현에서는 미분 가능한 신경망 구조를 활용해 Adam 옵티마이저로 z 를 최적화한다. 전역 최소점에 도달하지 않을 위험을 완화하기 위해 다중 시작(multi‑start) 전략을 적용, 무작위 초기 z 값을 여러 번 시도해 가장 낮은 손실을 선택한다. 두 생성기 간 차이를 정량화하기 위해 S=(Lⱼ^min−Lᵢ^min)/(Lⱼ^min+Lᵢ^min) 점수를 정의하고, 이를 ROC 곡선과 AUC로 평가한다.

실험은 크게 두 파트로 나뉜다. 첫 번째는 MNIST 문자 데이터를 이용한 완전 연결형 오토인코더(잠재 차원 32) 두 개를 학습시킨 뒤, (1) 비중첩 데이터(짝수 vs 홀수), (2) 동일 데이터·다른 순서, (3) 동일 데이터·동일 순서·다른 초기 가중치, (4) JPEG 압축 적용 상황을 각각 테스트한다. 비중첩 데이터에서는 거의 완벽한 AUC≈1을 기록했으며, 동일 데이터·다른 순서에서도 AUC≈0.96‑0.98로 높은 구별력을 보였다. 압축 실험에서는 손실이 약간 감소했지만 여전히 실용적인 수준을 유지했다.

두 번째 파트는 고해상도 얼굴 이미지(예: CelebA)를 생성하는 ProGAN(잠재 차원 512) 두 개를 대상으로 동일한 절차를 적용했다. 여기서는 이미지 품질이 높고 매니폴드가 복잡해짐에도 불구하고, 재구성 오차 차이가 충분히 커서 AUC≈0.94‑0.97을 달성했다. 또한, 복원된 z 를 통해 원본 이미지와 거의 동일한 시각적 결과를 얻었으며, 이는 출처 판별뿐 아니라 “재현 가능성”을 제공한다는 점에서 포렌식적 설명력을 크게 향상시킨다.

이 논문의 한계로는 (1) 화이트박스 전제—생성기 구조와 가중치를 모두 알아야 함, (2) 최적화 비용이 높은 z 탐색 과정, (3) 매우 유사한 매니폴드가 겹치는 경우(예: 동일 초기 가중치·학습 데이터·순서) 오분류 위험이 존재한다는 점을 들 수 있다. 향후 연구에서는 블랙박스 상황을 위한 메타‑학습 기반 추정, 효율적인 초기화 전략, 그리고 다중 생성기 집합에 대한 확률적 모델링 등을 제안할 수 있다.

전반적으로 이 연구는 GAN·오토인코더 기반 합성 이미지 포렌식에 새로운 패러다임을 제시한다. 생성 과정을 역전시켜 잠재 벡터를 복원하고, 재구성 오차를 정량화함으로써 출처를 정확히 식별할 수 있음을 실험적으로 입증했으며, 이는 딥페이크 탐지·저작권 보호·디지털 증거 검증 등에 실용적인 도구가 될 가능성을 시사한다.